【唐宇迪 深度学习-3D点云实战系列】学习笔记

 课程目录如下：

https://download.csdn.net/learn/35500/529919

---

一、3D点云应用领域分析

1. 3D点云领域都关注了哪些方向？
2. 课程核心系列-PointNet系列：点云数据如何处理、点云数据如何进行特征提取。后续无论是分类、分割、补全、配准检测，首先都要先对点云数据进行特征提取。
   1. PointNet系列就是重点系列。算法原理、论文思想、源码实现
   2. 基础算法、论文核心思想。

点云数据的特点：
        ① 由点组成，近密远疏
        ② 有遮挡

实际的点云数据：软件CloudCompare  3D坐标（x,y,z）; 数据格式为.pts

 点云的应用：无人机进行环境3D重建。 在城市的交通等领域还是有需求的。点云是有3维的数据的，比2D的数据多了一个维度的。
可以旋转、多视角的观察数据。

公开的数据集如下： 左侧为点云；右侧为分割结果。

2020年开始，点云算是一个比较火热的领域了。计算机视觉的算法、论文研究——然后才有实际输出。

在2020在点云方向的paper越来越多了。视觉领域的图像、视频算法研究已经饱和，目前转向了点云了。不断的在挖掘这个领域了。

 

 点云的应用：

① 点云分割：点云中没有像素值的大小，只有坐标。那怎么做分割呢？

不是做实例分割。部件分割。判断每一个点属于哪一个任务？ 传统的图像是每一个像素属于哪一块。

② 点云补全：近密远疏

把缺失的点补全出来。   编码器encoder，解码器decoder。对抗生成网络。风格迁移、AI变脸、特效等，有点类似的技术。 

③ 点云生成：无人机图像做成3D点云。虽然有很多算法，但目前研究的人不是太多，文章也不多。——传统数据，映射成点云数据。

④  点云物体检测：目前是研究最最热门的一个方向。分割的论文比检测多一些。

先做检测，再去做其他任务。（就像视觉里面的分类-->location YOLO）

 

3D检测，是一个立体的东西。是很多后续任务的前提。

⑤ 点云配准：无人机数据，地图合成。不同角度拍到的数据，然后组合出来整体的图像。

点云配准是为了给下游任务做服务的，做基础的。比如是家具行业：室内拍摄；达芬奇手术机器人。

---

 ⑥ 点云数据特征提取概述

 特征提取

我们的点如何进行特征提取，backbone是什么？——PointNet，去解决点云中的检测、分割问题。——PointNet++，做特征提取的。

• 3D数据只有坐标信息；如何将数据给转换为特征。
• 特征转换是通过backbone来进行特征提取。与图像数据有差异的。图像数据和3D点云数据差异是很大的。
• 我们的点(x,y,z)如何转换为特征？ 它和其他点的关系如何考虑？这个点和全局的关系如何考虑？
• 处理点云数据中最重要的backbone是PointNet
  • 点补全、分割、检测等领域，都会用到的PonitNet++这个backbone的。

3D点云中有哪些核心的网络？

⑦ 3D 数据应用领域与点云介绍

• 3D点云数据与图像数据有很大的差异：
  • 感知端的传感方式与之前不一样了。属于3D方式的采集。360度旋转，扫描得到3D数据，称之为点云。
  • 3D数据（点云数据）
• 3D数据应用于自动驾驶无人车、增强现实AR游戏中。
• 一个飞机样本，由如下的点组成。三维的数据(x,y,z) 共10000个点来表达一个目标。 还有三个法向量信息：Nx,Ny,Nz。

• 点云数据可视化展示：6个维度。

•  点云数据特性：分类、部件分割、语义分割

3D的数据有很多其他形式，为什么一定要用点云呢？——

 

 

 

 

二、PointNet算法解读

① PointNet基本出发点

算法要体现出来交换不变性！ 比如max函数、求和函数，都是满足交换不变性的。跟x的次序无关。

② PointNet基本模型架构和整体网络架构

 三维的特征维度太少了，需要进行升维。维度提升。

 ③ PointNet有哪些问题呢？PointNet++网络

 PointNet升级算法需要解决的问题：

最远点采样方法

分组Group方法原理解读

整体流程概述分析

分类与分割问题解决方案

遇到的问题及改进方法分析

三、PointNet++项目实战