当前位置:网站首页>梳理CamStyle、PTGAN、SPGAN、StarGAN
梳理CamStyle、PTGAN、SPGAN、StarGAN
2022-08-04 05:24:00 【ifsun-】
CamStyle
为了解决不同摄像头间存在的差异(环境、分辨率、光照)。
做法:首先为多个摄像头中的每一对摄像头训练一个风格迁移模型,然后利用给定的一批有标注训练样本(真图)经过训练好的模型,分别生成在其他每个摄像头上迁移后的图片(假图)。将真图和假图综合得到新的训练样本训练reid CNN。
实验结果:普通版本在面临少摄像头系统时能够防止过拟合,使模型性能提升;完全版本在面临多摄像头系统时,由于多摄像头本身出现过拟合的风险不大,因此本算法改善过拟合的效果就不明显,此时,模型性能的下降主要由迁移误差引起,因此在加入标签平滑(LSR)之后,性能提升。
优点:
1.在CycleGAN的基础上加入了目标域身份约束损失,保证了输出图片和输入图片在色彩上的一致性。
2.作为一种图片增广策略,增强了数据多样性,对目前的基于深度学习的reid模型性能提升上有帮助。
3.防止过拟合。
4.提升了不同摄像头间的鲁棒性。
5.没有人为额外地进行标注,缓解了昂贵的成本问题。
6.由于在风格迁移过程中存在误差(①CycleGAN没能对迁移过程完美建模②由于遮挡或者检测错误导致真图错误,经过CycleGAN后又会生成一批错误假图),会带来噪声,因此对假图计算LSR损失。
缺点:
需要为每对摄像头训练一个模型,当面临大规模数据集时,摄像头数目必然增多,可能出现成本问题。
而且可能无法充分利用所有训练样本,使生成图片质量不高(受StarGAN启发)。
PTGAN
为了解决①现有公开数据集中的图片和真实场景下采集到的图片间的差距和②域间距问题。
做法:利用CycleGAN的思想将源域的图片迁移到目标域。此时完成了风格的迁移,为了保证行人ID信息不被模糊,利用PSPNet提取行人前景mask(图像分割)。
优点:
1.采用图片级别的翻译代替直接对目标域样本进行标注,解决了昂贵的标注成本。
2.引入新的公开数据集MSMT17模拟真实场景。
3.缩小了域间差距。
缺点:
1.在计算损失函数时,没有考虑到目标域身份约束,可能使得输出图片与输入图片在色彩上存在差异。
2.在面临大规模数据集时,考虑到成本问题,没有将源域图片迁移到每个摄像头上,而是采用整体迁移,没能考虑到摄像头间的差异。
3.在处理多个域间的图片翻译问题时,需要为每队域训练一个模型,可拓展性和鲁棒性不高。此外,也没能充分利用所有训练数据,使得生成图片质量不高。
SPGAN
为了解决域间距问题。
做法:采用CycleGAN的思想将源域已经经过标注的图片迁移到目标域。在此基础上,采用SiaNet保证行人身份不变。
优点:
1.缓解了昂贵的标注成本问题。
2.缩小了域间距。
3.SiaNet拉近了迁移之后的图片与源域之间的距离,推远了和目标域之间的距离。
缺点:
(同PTGAN)在处理多个域间的图片翻译问题时,需要为每队域训练一个模型,可拓展性和鲁棒性不高。此外,也没能充分利用所有训练数据,使得生成图片质量不高。
StarGAN(待)
为了解决多个域间的图片翻译问题。
做法:将输入图片和每次随机产生的目标域标签输入到一个生成器中生成假图。
优点:
1.相比SPGAN、PTGAN,只使用了一个生成器,提升了可拓展性和鲁棒性。且能够利用到所有训练样本,使生成图片质量更高。
2.利用掩码向量的方法拼接多个拥有不同域的数据集,更好地进行图片翻译。
边栏推荐
- 震惊,99.9% 的同学没有真正理解字符串的不可变性
- 你以为border-radius只是圆角吗?【各种角度】
- 如何将 DevSecOps 引入企业?
- CentOS7 —— yum安装mysql
- 动态规划总括
- el-Select 选择器 底部固定
- 9. Dynamic SQL
- 【一步到位】Jenkins的安装、部署、启动(完整教程)
- 【SemiDrive源码分析】【MailBox核间通信】47 - 分析RPMSG_IPCC_RPC 方式 单次传输的极限大小 及 极限带宽测试
- npm init [email protected] 构建项目报错SyntaxError: Unexpected token ‘.‘解决办法
猜你喜欢

使用Loadrunner进行性能测试

Cannot read properties of null (reading ‘insertBefore‘)

day13--postman接口测试
![[Evaluation model] Topsis method (pros and cons distance method)](/img/e7/c24241faced567f3e93f6ff3f20074.png)
[Evaluation model] Topsis method (pros and cons distance method)

System design. How to design a spike system (full version transfer)

Programming hodgepodge (4)

数的划分之动态规划

MySQL日志篇,MySQL日志之binlog日志,binlog日志详解

npm报错Beginning October 4, 2021, all connections to the npm registry - including for package installa

《看见新力量》第四期免费下载!走进十五位科技创业者的精彩故事
随机推荐
[C language advanced] program environment and preprocessing
9、动态SQL
【一步到位】Jenkins的安装、部署、启动(完整教程)
C专家编程 第4章 令人震惊的事实:数组和指针并不相同 4.4 使声明与定义相匹配
获取单选框选中内容
自动化测试的成本高效果差,那么自动化测试的意义在哪呢?
使用Loadrunner进行性能测试
LCP 17. 速算机器人
Cannot read properties of null (reading ‘insertBefore‘)
Uni-app 小程序 App 的广告变现之路:全屏视频广告
MySQL日志篇,MySQL日志之binlog日志,binlog日志详解
一个对象引用的思考
触觉智能分享-SSD20X实现升级显示进度条
C专家编程 第5章 对链接的思考 5.1 函数库、链接和载入
力扣:63. 不同路径 II
day13--postman interface test
渗透测试(PenTest)基础指南
7、特殊SQL的执行
day13--postman接口测试
MySQL database (basic)