当前位置:网站首页>14、Transformer--VIT TNT BETR
14、Transformer--VIT TNT BETR
2022-07-05 20:18:00 【C--G】
VIT–Vision Transformer
VIT架构图
VIT为图像分类任务,这里使用了transformer的编码器,将图片分为九块,加上位置编码后并转化为一维再放入编码器,编码器此时有9个输入token,其中0号token与其他9位token进行了交互计算,融合了其他9位token的特征信息,因此只需要0号token即可,后面就是MLP Head和分类即可
- CNN的问题
- transformer优势
- 公式
- VIT格局
- 位置编码
- 效果分析
- 代码链接
https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/pytorch_classification/vision_transformer
TNT-Transformer in Transformer
- 基本组成
- 序列构建
- 基本计算
- 位置编码
- PatchEmbedding可视化
BETR
目标检测
基本思想
并行预测100个坐标框,没有物体,那就是背景网络架构
cnn获取一维特征图,positional encoding获取位置编码,与VIT不同,BETR没有0号token,与传统Transformer Decoder不同,BETR是由object queries一次产生多少坐标框,每个框并行与encoder输出进行匹配,再通过prediction heads判断是否是目标框
Encoder的任务
encoder提供目标的注意力结果优于cnn的特征图结果,有利于解码器快速识别目标,如图所示,encoder在有遮挡情况下也能很好的识别物体网络架构
输出匹配
注意力的作用
数据资源–大佬的博客
https://blog.csdn.net/qq_37774399/article/details/121748163
边栏推荐
- Go language | 03 array, pointer, slice usage
- Leetcode skimming: binary tree 16 (path sum)
- y57.第三章 Kubernetes从入门到精通 -- 业务镜像版本升级及回滚(三十)
- Go language | 02 for loop and the use of common functions
- Zero cloud new UI design
- 如何形成规范的接口文档
- document方法
- Leetcode brush questions: binary tree 11 (balanced binary tree)
- Go language | 01 wsl+vscode environment construction pit avoidance Guide
- mongodb/文档操作
猜你喜欢
解决php无法将string转换为json的办法
leetcode刷题:二叉树15(找树左下角的值)
. Net distributed transaction and landing solution
Database logic processing function
JVMRandom不可设置种子|问题追溯|源码追溯
leetcode刷题:二叉树18(最大二叉树)
Leetcode skimming: binary tree 16 (path sum)
走入并行的世界
After 95, Alibaba P7 published the payroll: it's really fragrant to make up this
Parler de threadlocal insecurerandom
随机推荐
Solve the problem that the database configuration information under the ThinkPHP framework application directory is still connected by default after modification
leetcode刷题:二叉树17(从中序与后序遍历序列构造二叉树)
Leetcode brush questions: binary tree 18 (largest binary tree)
Is it safe for CICC fortune to open an account online?
leetcode刷题:二叉树18(最大二叉树)
本季度干货导航 | 2022年Q2
leetcode刷题:二叉树13(相同的树)
y57.第三章 Kubernetes从入门到精通 -- 业务镜像版本升级及回滚(三十)
Enter the parallel world
信息学奥赛一本通 1339:【例3-4】求后序遍历 | 洛谷 P1827 [USACO3.4] 美国血统 American Heritage
USACO3.4 “破锣摇滚”乐队 Raucous Rockers - DP
IC科普文:ECO的那些事儿
[C language] three implementations of quick sorting and optimization details
Go language | 02 for loop and the use of common functions
《乔布斯传》英文原著重点词汇笔记(十二)【 chapter ten & eleven】
Go language | 01 wsl+vscode environment construction pit avoidance Guide
Go language learning tutorial (XV)
Debezium series: PostgreSQL loads the correct last submission LSN from the offset
nprogress插件 进度条
Convolution free backbone network: Pyramid transformer to improve the accuracy of target detection / segmentation and other tasks (with source code)