当前位置:网站首页>【扫盲】机器学习图像处理中的深层/浅层、局部/全局特征
【扫盲】机器学习图像处理中的深层/浅层、局部/全局特征
2022-07-01 21:47:00 【zouxiaolv】
浅层特征:浅层网络提取的特征和输入比较近,蕴含更多的像素点的信息,主要为一些细粒度的信息,比如颜色、纹理、边缘、棱角信息。
原理:浅层网络感受野较小,感受野重叠区域也较小,所以保证网络捕获更多细节
深层特征:深层网络提取的特征离输出较近,蕴含更抽象的信息,即语义信息,主要为一些粗粒度的信息。
原理:感受野增加,感受野之间重叠区域增加,图像信息进行压缩,获取的是图像整体性的一些信息。
基于内容的图像检索(Content-based Image Retrieval, CBIR)方法利用从图像提取的特征来进行检索。
常用的图像特征主要有颜色、纹理和形状,包括局部特征和全局特征。
局部特征是基于图像的某个区域提取的图像描述符,如尺度不变特征SIFT(Scale Invariant Feature Transform)。(相当于CNN网络的浅层卷积部分);局部特征通常来自图片的视觉敏感区域。
全局描述符基于整幅图像提取的描述符,如GIST。全局特征对图像的压缩率较高,但区分力不强;(相当于CNN网络的深层卷积部分);因为一幅图片只能生成一个全局特征
局部特征的区分力强,但数目太多,故而各种编码方法被提了出来,如BOF(Bag of Features,特征袋),Fisher向量 (Fisher Vectors, FV),以及VLAD (Vector of Locally Aggregated Descriptors)等。BOF,VLAD,FV等描述符通常继承了局部特征的部分不变性,如对平移、旋转、缩放、光照和遮挡等与语义相关不大的因素保持不变。
卷积层特征与SIFT相比
有如下特点:
(1)卷积层特征类似于密集SIFT特征(通过网格式的密集采样得到)。卷积层特征与SIFT一样是局部特征,对应了图片的某个区域(可以将CNN特征图上每一个点反向映射回图片), 是一种局部特征。
(2)卷积层特征是通过学习得到的,SIFT是手工类型。CNN的卷积层参数是可以针对不同的数据集通过迭代训练调优的,而且可通过简单的修改进一步改进(如增加深度、宽度等)而SIFT的参数是通过预先的精密设计固定的。
(3)卷积层特征具有层次性。不同的卷积层具有不同的语义层次,如浅层的特征图通常是一些边/角等,而中层则是物体的一部分,高层则通常是一个完整的物体。选用不同的层将可能达到完全不同的效果,该如何选择一个最优的层则到目前为止还没有一个最优的方法,通常通过测试多层的效果来达到。SIFT在不使用SP的情况下不具有层次性,描述的是边/角等比较低层次的特征,这也是为什么CCS将SIFT与CNN融合会有效果的原因之一。
(4)CNN卷积层特征维度比SIFT/SURF等浅层特征要大得多,而且计算量大,需要GPU辅助才能达到实时的效果,而且因为要存储很多卷积层特征图的原因,空间开销也要大得多。对于PC机而言,这不是什么大问题,然而未来的AI将可能无处不在,CNN在移动平台上的使用将成为一个具有挑战性的问题。随着类脑计算如火如荼的展开,各种神经处理专用芯片(如中科院陈云霁等研发的DaDianNao, Google最近研发的TPU等)不断涌现,此问题或者也将不是问题。
————————————————
版权声明:本文为CSDN博主「Dust_Evc」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Dust_Evc/article/details/123854535
边栏推荐
- Several ways of writing main function in C
- Compensation des créneaux horaires
- 【c语言】malloc函数详解[通俗易懂]
- EasyExcel 复杂数据导出
- 深度学习--数据操作
- H5 model trained by keras to tflite
- Pytorch sharpening chapter | argmax and argmin functions
- 效率提升 - 鼓捣个性化容器开发环境
- [commercial terminal simulation solution] Shanghai daoning brings you Georgia introduction, trial and tutorial
- GaussDB(DWS)主动预防排查
猜你喜欢
Slope compensation
黑马程序员-软件测试--06阶段2-linux和数据库-01-08第一章-linux操作系统阶段内容说明,linux命令基本格式以及常见形式的说明,操作系统的常见的分类,查看命令帮助信息方法,
Mysql——》Innodb存储引擎的索引
Flume interview questions
[commercial terminal simulation solution] Shanghai daoning brings you Georgia introduction, trial and tutorial
Fully annotated SSM framework construction
EasyExcel 复杂数据导出
【MySQL】索引的分类
切面条 C语言
Delete AWS bound credit card account
随机推荐
Spark interview questions
FFMpeg学习笔记
【图像分割】2021-SegFormer NeurIPS
Easyexcel complex data export
Smart micro mm32 multi-channel adc-dma configuration
信标委云原生专题组组长,任重道远!
灵动微 MM32 多路ADC-DMA配置
【JetCache】JetCache的使用方法与步骤
小红书Scheme跳转到指定页面
H5 model trained by keras to tflite
三翼鸟两周年:羽翼渐丰,腾飞指日可待
【MySQL】explain的基本使用以及各列的作用
QT uses ffmpeg4 to convert the qimage of ARGB to yuv422p
[jetcache] how to use jetcache
【MySQL】索引的创建、查看和删除
【MySQL】数据库优化方法
Ida dynamic debugging apk
Rust语言——小小白的入门学习05
The correct way to set the bypass route
详解LockSupport的使用