三维重建系统 | L3双视角运动恢复结构（SFM双目SFM）

一、三角量测

定义：给定图像匹配点和相机参数恢复匹配点三维坐标的问题 。

由上图所示，由三维点坐标和一个相机内外参数可以确定一条射线，可能的目标三维点就在这条射线上，所以至少需要两个相机视角，并对两两相交得出的可能位置利用最小二乘法进行计算。
其中，第i相机投影矩阵：

另外，在第i个视角中投影的图像坐标为：

其中，Pin已知，也就是说一个观察点提供2个约束，所以至少2对点。即有：

展开即为：

最后进行SVD分解得到对应的特征点。

二、捆绑调整（BA）

定义：同时对相机内外参数以及三维点坐标同时进行非线性优化来得到一个全局意义上最优的解。

假设这个场景中有n个三维点，有m个相机，但由于n个点在m个相机里不是都可见，所以由对应关系Xij（0或1）来控制，并对投影点进行优化。

最终根据重新投影点 uij的不断靠近，来优化Cj(相机参数)，Xi（三维点坐标）

于是，将该问题转换为了一个无约束非线性的优化问题