当前位置:网站首页>Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point
Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point
2022-07-06 20:07:00 【马少爷】
一 核心思想
为了降低内存和计算成本,现有的基于point的pipeline通常采用随机采样或FPS采样来逐步下采样输入点云,尽管并非所有的点对目标检测任务都同等重要。特别是,前景点在本质上比背景点对目标探测器更重要。基于此,本文提出了一种高效的single-stage point-based 3D detection——IA-SSD。
该方法的关键是利用两种可学习的、面向任务的、实例感知的down sample strategy来分层次地选择属于object的foreground point。此外,我们还引入了contextual centroid perception module来进一步估计精确的object center。最后,为了提高效率,我们按照只使用encoder-only的体系结构构建IA-SSD。
本文的方法中借鉴了3DSSD的框架,主要的贡献在于将每一层的采样策略进行了调整,让每次down sample采样中,前景点都占大多数。
具体框架如下图所示:
二 核心步骤
现有的point-based的检测器在其框架中通常采用与任务无关的采样方法,如随机采样或最远点采样。尽管对于降低内存/计算成本有效,但在渐进式下采样中,最重要的foreground point也会减少。此外,由于不同物体的大小和几何形状存在很大差异,现有的探测器通常针对不同类型的物体训练具有各种精心调整的超参数的单独模型。然而,这不可避免地会影响这些模型在实践中的部署。因此,本文的目标是:能否训练出一种基于单点的模型,这种模型能够高效地一次检测出多类目标。
基于此,本文提出了一种高效的单级检测器,通过引入instance-aware downsampling和contextual centroid perception module。如上图所示, IA-SSD采用了3DSSD中的特征提取架构。首先将输入的LiDAR点云输入到网络中提取point features,然后提出instance-aware downsampling,以逐步降低计算成本,同时保留信息丰富的foreground point。学习到的潜在特征进一步输入到contextual centroid perception module,生成proposal并回归最终的边界框。
由此本文主要有两个重点: instance-aware downsampling和contextual centroid perception module。
2.1 Instance-aware Downsampling Strategy
如上图所示,为了尽可能地保留foreground point,我们转向利用每个点的潜在语义,因为随着分层聚合在每个层中操作,学习到的点特征可能包含更丰富的语义信息。基于这一思想,我们提出了class-aware sampling和centroid-aware sampling两种面向任务的采样方法,将前景语义先验整合到网络训练pipeline中。
Class-aware sampling:就是在采样中,加入前景点的预测head,具体公式如下:
Centroid-aware sampling(只在training过程中被用到):这里就是在进行class-aware sampling时,考虑到距离object中心的点应该更被考虑到,因此使用了预测距离中心的权重head,具体公式如下:
这个也是本人想的一种预测距离中心的方法。
这样子就可以将得分的损失函数改为:
将soft point mask与foreground point的损失项相乘,使靠近中心的点具有更高的概率。注意,在inference过程中不再需要边界框,如果模型训练良好,我们只需保留下采样后得分最高的k个点。
经过上面的策略详解,我们的采样策略与其他策略对比如下所示:
2.2 Contextual Instance Centroid Perception
我们试图利用bounding box周围的上下文线索进行例如质心预测。具体来说,我们遵循VoteNet来显式预测到object中心的偏移量。(也就是进行聚集操作,如下图的VoteNet所示,就是用FPS选择出k个点然后对周围的点进行聚集操作。)
值得注意的是,在本文中,我们并不是仅仅使用边界框内的点或移位点来进行中心预测,我们手动扩展ground truth bounding box,或者按比例放大该框,以覆盖物体附近更多相关的上下文。利用落在扩展包围框内的采样点估计偏移量,然后进行偏移。
2.3 Centroid-based Instance Aggregation
2.4 End-to-End Learning
文中提出的方法主要在速度上存在优势,在检测精度上还是没有达到SOTA。
边栏推荐
- 掘金量化:通过history方法获取数据,和新浪财经,雪球同用等比复权因子。不同于同花顺
- Left path cloud recursion + dynamic planning
- Redis getting started complete tutorial: replication topology
- 装饰设计企业网站管理系统源码(含手机版源码)
- 2022.6.28
- tensorboard的使用
- 你知道电子招标最突出的5大好处有哪些吗?
- Form validation of uniapp
- Netperf and network performance measurement
- Shangsilicon Valley JVM Chapter 1 class loading subsystem
猜你喜欢
input_delay
Household appliance industry under the "retail is king": what is the industry consensus?
杰理之在非蓝牙模式下,手机连接蓝牙不要跳回蓝牙模式处理方法【篇】
Make (convert) ICO Icon
MOS transistor realizes the automatic switching circuit of main and auxiliary power supply, with "zero" voltage drop and static current of 20ua
密码学系列之:在线证书状态协议OCSP详解
「小样本深度学习图像识别」最新2022综述
uniapp适配问题
OC, OD, push-pull explanation of hardware
Leetcode-02 (linked list question)
随机推荐
Oauth2协议中如何对accessToken进行校验
cocos3——8.实现初学者指南
上个厕所的功夫,就把定时任务的三种调度策略说得明明白白
HDU ACM 4578 Transformation-> Segment tree - interval change
Install redis from zero
leetcode
数学归纳与递归
杰理之开启经典蓝牙 HID 手机的显示图标为键盘设置【篇】
Construction of knowledge map of mall commodities
简单冒泡排序
A complete tutorial for getting started with redis: AOF persistence
Make (convert) ICO Icon
Simple bubble sort
Netperf and network performance measurement
2022年信息安全工程师考试大纲
Left value, right value
Left path cloud recursion + dynamic planning
Domcontentloaded and window onload
从0开始创建小程序
凌云出海记 | 易点天下&华为云:推动中国电商企业品牌全球化