当前位置:网站首页>对比学习之 Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
对比学习之 Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
2022-07-07 09:09:00 【InfoQ】
- 诸神黄昏时代的对比学习
- “军备竞赛”时期的对比学习好。
- 将整个imagenet做成字典,从中抽取一个mini batch作为正样本。再从中随机抽取4096条作为负样本。
- 从数据集中抽取一个mini batch对其增广,使用一个孪生网络,将原图放进一个网络,将增强之后的图放进另一个网络,二者同时进行训练,对二者使用一个NCE loss或者infoNCE loss。一张图片和它的增广作为正样本,剩余的图片及其增广作为负样本。
- 从数据集中抽取一个mini batch对其进行两次增广,使用一个孪生网络,将一组图片增强放进一个网络,将另一组图片增强放进另一个网络,二者同时进行训练,对二者使用一个NCE loss或者infoNCE loss。
- 它可能会重复的抽取到同一数据。虽然你数据集有很多图片,但是你从中抽可能会抽到相同的图片。极端的情况下,如果你抽到一组图片作为正样本,然后你又抽到同样重复的一组图片作为负样本。那这样就会对训练造成影响。
- 也可能不具有整个数据集的代表性。比如这个数据其实有很多很多种动物,但是你抽到的都是狗,这样数据就是没有代表性的。
- 当然这样的选取的越全面效果越好,但是如果你选取的过多的负样本又会造成计算资源的浪费。
- 先说重复问题:因为你使用的是聚类中心进行比较。虽然是不同的聚类中心,那么他肯定不可能出现重复的情况。
- 再说一下没有代表性的问题:聚类就是将众多的图片聚成不同的类别。与每一个类别的中心进行对比,是绝对具有代表性的。
- 再说一下过去有过多负样本造成资源浪费的问题。如果要跟很多的负样本去做类比,可能就需要成千上万的负样本,而且即使如此也只是一个近似,而如果只是跟聚类中心做对比,则可以用几百或者最多3,000个聚类中心,就足以表示了。大大减少了计算资源消耗。
边栏推荐
- Operation method of Orange Pie orangepi 4 lts development board connecting SATA hard disk through mini PCIe
- Get pictures through opencv, change channels and save them
- shardingsphere分库分表示例(逻辑表,真实表,绑定表,广播表,单表)
- PR Lecture Notes
- “梦想杯”2017 年江苏省信息与未来小学生夏令营 IT 小能手 PK 之程序设计试题
- Compile QT project script with qmake
- vim 的各种用法,很实用哦,都是本人是在工作中学习和总结的
- [installation system] U disk installation system tutorial, using UltraISO to make U disk startup disk
- Using ENSP to do MPLS pseudo wire test
- Poj1821 fence problem solving Report
猜你喜欢
随机推荐
Input type= "password" how to solve the problem of password automatically brought in
After the uniapp jumps to the page in onlaunch, click the event failure solution
Verilog 实现数码管显视驱动【附源码】
Operation method of Orange Pie orangepi 4 lts development board connecting SATA hard disk through mini PCIe
Cmake learning manual
Long list performance optimization scheme memo
Using ENSP to do MPLS pseudo wire test
关于SIoU《SIoU Loss: More Powerful Learning for Bounding Box Regression Zhora Gevorgyan 》的一些看法及代码实现
Typescript interface inheritance
Basic knowledge of process (orphan, zombie process)
[machine learning 03] Lagrange multiplier method
SQL Server knowledge collection 11: Constraints
[untitled]
从色情直播到直播电商
常用sql语句整理:mysql
2021 summary and 2022 outlook
shardingsphere分库分表示例(逻辑表,真实表,绑定表,广播表,单表)
关于jmeter中编写shell脚本json的应用
高考作文,高频提及科技那些事儿……
基于STC8G1K08的0.96寸IIC液晶屏驱动程序