biscuitの博客

本质矩阵#

中间这一坨就是对极几何约束，也称为本质矩阵约束，其中 本质矩阵

是一个 $3\times 3$ 的矩阵，描述了两个相机之间的相对姿态（旋转和平移）。该矩阵由相机的内参及其相对位置推导得出

本质矩阵的局限：它只适用于归一化坐标系下的点，即在相机坐标系下的点。

基础矩阵#

在不知道内参 $K, K'$ 的情况下，无法将像素坐标 $\mathbf{x}, \mathbf{x}'$ 转换为相机坐标系下的归一化坐标 $\mathbf{x}^c, \mathbf{x}'^c$。因此，需要引入基础矩阵 $F$ 来描述像素坐标之间的对极几何约束。

8点法（8-point algorithm）#

虽然说是8点，但实际计算中可以用更多点。

两步：

1. 使用最小二乘法求解线性方程 $Af = 0$，得到基础矩阵 $F$ 的元素。
2. 对得到的基础矩阵 $F$ 进行奇异值分解（SVD），然后将最小的奇异值设为0，再重构基础矩阵 $F$。

• 第一步：使用最小二乘法求解线性方程 $Af = 0$，得到基础矩阵 $F$ 的元素。

TIP

推导

用拉格朗乘子法，构建拉格朗日函数：

$$L(f, \lambda) = ||Af||^2 - \lambda (||f||^2 - 1)\\ L(f, \lambda) = f^T A^T A f - \lambda (f^T f - 1)\\ \frac{\partial L}{\partial f} = 2 A^T A f - 2 \lambda f = 0\\ A^T A f = \lambda f$$

最优解 $f$ 是 $A^T A$ 的特征向量。由于目标是最小化 $||Af||^2$，因此选择对应 最小特征值 的特征向量作为解。

实际操作就是对 $A$ 进行奇异值分解（SVD）（等价于对 $A^T A$ 进行特征值分解）：$A = U \Sigma V^T$，则 $f$ 是 $V$ 的 最后一列（对应最小奇异值）。

这时得到的基础矩阵 $F_{alg}$ 的秩为3，需要投影到秩为2的空间中，才能满足对极几何约束 $\det(F)=0$。

• 第二步：强制 $F$ 秩为2（投影到合法空间）

对得到的基础矩阵 $F_{alg}$ 进行奇异值分解（SVD）$F = U \Sigma V^T$，然后将最小的奇异值设为0 $\sigma_3=0,\Sigma'=\text{diag}(\sigma_1, \sigma_2, 0)$，再重构基础矩阵 $F=U\Sigma'V^T$。

7点法（7-point algorithm）#

真实自由度是 7（9个元素 - 尺度1 - 秩约束1），8点法用了8个或更多点实际上多了冗余。7点法利用最少配置求解：

$A$ 是一个 $7\times 9$ 的矩阵，秩为 7，解空间是一个二维空间（两个线性无关的解）。

通过和上面一样的SVD方法，得到两个基向量 $f_1, f_2$，对应的基础矩阵 $F_1$ 和 $F_2$，则 可能解 表示为任意线性组合 $f = \alpha f_1 + (1-\alpha) f_2$

带入行列式约束 $\det(F)=0$，得到一个 三次方程，最多有三个实根 $\alpha_1, \alpha_2, \alpha_3$，对应三个基础矩阵 $F_1, F_2, F_3$。最后通过验证所有点是否在极线上，选出一个最优解.

RANSAC技巧抗外点#

现实中，通过特征匹配（如 SIFT、ORB）得到的对应点中，误匹配（外点，Outlier） 的比例可能非常高。如果直接用上述算法，外点会严重扭曲结果。因此，必须嵌套 RANSAC（随机抽样一致性） 框架：

RANSAC 迭代流程：

1. 随机采样：在所有匹配点中，随机抽取一个最小样本集（8点法抽 $\geq 8$ 对，7点法抽7对）。

2. 假设生成：用上一节的方法（8点或7点法）基于这个子集计算出一个候选的基础矩阵 $F_{hypo}$ ​

3. 内点检验：用 $F_{hypo}$ 检验 剩余的 所有匹配点。将每一对点代入误差函数，比如 Sampson 距离（或直接计算对称极线距离 $d=\|\mathbf{x}'^T F \mathbf{x}\|$）。如果距离小于设定的阈值（如 1~2 个像素），则判定该点为“内点（Inlier）”，否则为“外点”。

4. 迭代与更新：记录本次假设的内点数量。重复上述步骤（通常几百次甚至上千次），直到找到内点数量最多的那一个模型。

5. 最终精化：用筛选出的 所有内点（而不是最初的8个），重新执行一次 8点法（或进行非线性优化），得到最终的、鲁棒的基础矩阵 $F$。

进一步优化:非线性优化（光束法平差，Bundle Adjustment）#

经过 SVD 强制秩约束和 RANSAC 后，我们得到的是代数最小二乘解（最小化$||Af||^2$）。代数误差并不直接等于图像平面上的像素误差。

为了达到最高精度，我们需要进行非线性优化（光束法平差，Bundle Adjustment）：

优化目标：最小化所有内点的几何重投影误差（即真实匹配点到各自极线的距离平方和）。

将 8点法+RANSAC得到的结果作为迭代初始值，使用 Levenberg-Marquardt（LM）算法进行迭代优化。

预处理：hartley归一化（数据归一化）#

如果直接用原始的像素坐标（比如 $u\approx 1000$，矩阵 A 中的数值会极大（ 10^6 量级），导致 SVD 求解时矩阵条件数极差，精度灾难性下降。

标准流程：

1. 对两幅图，分别构建仿射变换矩阵 $T, T'$，将所有点归一化到均值为0，平均距离为 $\sqrt{2}$ 的坐标系下。
2. 用归一化后的点计算基础矩阵 $F_{norm}$。
3. 将归一化后的基础矩阵 $F_{norm}$ 反归一化回原始坐标系下的基础矩阵 $F = T'^T F_{norm} T$。