当前位置:网站首页>對比學習之 Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
對比學習之 Unsupervised Learning of Visual Features by Contrasting Cluster Assignments
2022-07-07 11:15:00 【InfoQ】
- 諸神黃昏時代的對比學習
- “軍備競賽”時期的對比學習好。
- 將整個imagenet做成字典,從中抽取一個mini batch作為正樣本。再從中隨機抽取4096條作為負樣本。
- 從數據集中抽取一個mini batch對其增廣,使用一個孿生網絡,將原圖放進一個網絡,將增强之後的圖放進另一個網絡,二者同時進行訓練,對二者使用一個NCE loss或者infoNCE loss。一張圖片和它的增廣作為正樣本,剩餘的圖片及其增廣作為負樣本。
- 從數據集中抽取一個mini batch對其進行兩次增廣,使用一個孿生網絡,將一組圖片增强放進一個網絡,將另一組圖片增强放進另一個網絡,二者同時進行訓練,對二者使用一個NCE loss或者infoNCE loss。
- 它可能會重複的抽取到同一數據。雖然你數據集有很多圖片,但是你從中抽可能會抽到相同的圖片。極端的情况下,如果你抽到一組圖片作為正樣本,然後你又抽到同樣重複的一組圖片作為負樣本。那這樣就會對訓練造成影響。
- 也可能不具有整個數據集的代錶性。比如這個數據其實有很多很多種動物,但是你抽到的都是狗,這樣數據就是沒有代錶性的。
- 當然這樣的選取的越全面效果越好,但是如果你選取的過多的負樣本又會造成計算資源的浪費。
- 先說重複問題:因為你使用的是聚類中心進行比較。雖然是不同的聚類中心,那麼他肯定不可能出現重複的情况。
- 再說一下沒有代錶性的問題:聚類就是將眾多的圖片聚成不同的類別。與每一個類別的中心進行對比,是絕對具有代錶性的。
- 再說一下過去有過多負樣本造成資源浪費的問題。如果要跟很多的負樣本去做類比,可能就需要成千上萬的負樣本,而且即使如此也只是一個近似,而如果只是跟聚類中心做對比,則可以用幾百或者最多3,000個聚類中心,就足以錶示了。大大减少了計算資源消耗。
边栏推荐
- From pornographic live broadcast to live broadcast E-commerce
- Qt|多个窗口共有一个提示框类
- 测试开发基础,教你做一个完整功能的Web平台之环境准备
- Deep understanding of Apache Hudi asynchronous indexing mechanism
- 毕业季|与青春作伴,一起向未来!
- Process control (creation, termination, waiting, program replacement)
- Arduino board description
- RationalDMIS2022 高级编程宏程序
- vim 的各种用法,很实用哦,都是本人是在工作中学习和总结的
- SQL Server knowledge gathering 9: modifying data
猜你喜欢
seata 1.3.0 四种模式解决分布式事务(AT、TCC、SAGA、XA)
The concept, implementation and analysis of binary search tree (BST)
JS add spaces to the string
Wallhaven壁纸桌面版
Arduino board description
通过 Play Integrity API 的 nonce 字段提高应用安全性
关于jmeter中编写shell脚本json的应用
Idea shortcut keys
Avoid mutating a prop directly since the value will be overwritten whenever the parent component
Web端自动化测试失败的原因
随机推荐
Transaction rolled back because it has been marked as rollback only
CentOS系统下Redis安装和自启动配置的步骤
The fifth training assignment
2021-05-21
Cmake learning manual
2021 summary and 2022 outlook
SQL Server knowledge gathering 9: modifying data
Project ERROR: Unknown module(s) in QT: core gui
什么是高内聚、低耦合?
How to use cherry pick?
Basic knowledge of process (orphan, zombie process)
Still cannot find RPC dispatcher table failed to connect in virtual KD
Simple and easy to modify spring frame components
MPX plug-in
Galaxy Kirin desktop operating system installation postgresql13 (source code installation)
解决VSCode只能开两个标签页的问题
mif 文件格式记录
Laya common script commands
“梦想杯”2017 年江苏省信息与未来小学生夏令营 IT 小能手 PK 之程序设计试题
Mysql的json格式查询