CVPR 2022 | Virtual Correspondence: Humans as a Cue for Extreme-View Geometry

论文链接：http://people.csail.mit.edu/weichium/virtual-correspondence/top.pdf

3D重建是图形学里非常经典的问题，做3D重建的过程中，往往利用了多视角几何，也就是对同一个场景（物体），从不同的视角观察，然后根据观察到的共同部分，利用视差进行三维信息估计。重建效果的重要影响因素就是需要不同图片里的共同部分比较多，否则重建效果就会很差。

但是，对于上面两张图，尽管它们的拍摄视角差异近乎有180°，而且时间还有差异，但从人类的观察能很容易判断出这两个图表示的几乎就是同一个场景。这是为什么呢？因为人还会考虑到图中人物的姿态、外貌（体型）、身份等语义信息，而不像多视角几何只用特征点信息。

基于此，本文提出了一种方法，可以对共同视角不多的两张图进行语义匹配，该方法基于对场景中人的对应关系进行分析，并可以恢复出每张图片中的相机位姿。

作者首先抛出了一个问题：恢复相机位姿一定需要在不同图片上对应的三维点吗？答案是否定的，传统的极线几何要求观测到的点就是极线的交点，这里则只需要经过点的极线相交即认为两个点是对应的（本文称为Virtual Correspondence，简称VC）。

但是，要想判断两条极线是不是相交，一般又需要知道相机的位姿，这就陷入死循环了，即现在想用过两个点相交的极线来恢复相机位姿，但极线相不相交又需要依赖相机位姿进行判定。

所以，这里作者的想法就是，利用先验知识——人，因为人的模型有比较强的先验知识，已经有很多工作根据单张图就能恢复出人的体态模型，而有了人体模型，就能很容易判断极线穿过人的两个“交点”会出现在哪里，从而就能将不同视角上的点匹配起来（比如穿过前胸的射线能很快找到背面的对应点）。

同时，虽然这里的VC和传统的按点匹配有所不同，但可以很容易地把经典的SfM(Structure from Motion)方法进行修改，用来恢复相机位姿。

本文的卖点（贡献）：

1. 提出了VC，在传统的极线几何基础上进行了扩展，适用性更强。
2. 提出了利用人体模型来估计VC的方法，并且可以和已有的3D框架（如SfM）进行很好的兼容，具有广泛的适用场景。
3. 这个方法可以和一些下游任务相结合（如多视角几何重建，任意视角生成等）

上图是算法的流程图，首先从图片中恢复出人的3D模型，然后随机发射射线，记录它和模型的所有碰撞点（如正面的小腹和背面的背），然后分别找到它们在两张图中对应的像素，这样就找到了VC。

有了VC之后，下一步就是通过这些对应关系来估计相机位姿了。做法和SfM类似，只是把传统的匹配特征点换成了VC。同时，由于VC点比较依赖人体形态估计的准确性，所以会有一些noise，做法是通过整体优化重投影误差来减少误差影响（这一部分我只知道一些基础知识，感兴趣的读者可以自行深入学习）。