biscuitの博客

尺度空间分析#

给定一个图像 $I(x,y)$，我们可以通过卷积高斯核来构建尺度空间：

其中 $G(x,y,\sigma)$ 是标准差为 $\sigma$ 的二维高斯核：

其中 $\sigma$ 越大，对应的尺度越高（但不是图像放大，而是信息粗糙化）

(Normalized) Laplacian of Gaussian (LoG)#

不直接使用模糊后的尺度空间图像，而是使用其归一化拉普拉斯来检测 Blob：

• $\nabla^2=\frac{\partial^2}{\partial x^2} + \frac{\partial^2}{\partial y^2}$ 是拉普拉斯算子，计算图像的二阶导数，能够突出局部极值点。
• $\sigma^2$ 是归一化因子，确保不同尺度下的响应具有可比性。

检测blob是一个求局部极大值的过程：

• $(x^*, y^*)$ 是Blob的中心位置
• $\sigma^*$ 是Blob的特征尺度（可以通过 $\sigma\approx 0.707 R$ 确定blob的大小）
• $\text{LoG}_{peak} = \sigma^2 \nabla^2 G_{\sigma} * I(x^*, y^*)$ 是Blob的响应强度，反映了Blob的显著程度。

为什么需要 $\sigma^2$ 归一化？

对于二阶高斯导数，可以证明：
当滤波器尺度 $\sigma$ 与 Blob 的特征宽度（设为 $R$）成比例时，一般是 $\sigma \approx 0.707 R$，此时 $\text{LoG}_{peak}$ 和尺度 $\sigma$ 的关系为：

同一个亮斑，对于LoG方法

• 如果我们用 小尺度（σ 小）去检测，响应很大；

• 用 大尺度（σ 大）去检测，响应非常小。

但我们想检测不同大小的 Blob，希望它们在自己的特征尺度上都能给出 可比较的强响应。如果响应随着 σ 增大而急剧衰减，那么大 Blob 的响应永远比不上小 Blob 的响应，我们就无法通过比较不同 σ 下的响应值来找出“哪个尺度最匹配”。

所以乘上 $\sigma^2$ 进行归一化后，对于与滤波器尺度匹配的 Blob，归一化后的响应幅度与 σ 无关

找到 Blob 位置和尺度的完整数学过程#

1. 定义尺度空间
   一组离散尺度 $\sigma_0, \sigma_1, \dots, \sigma_k$（等比数列）。

2. 计算响应函数

   $$R(x,y,\sigma) = \sigma^2 \left( \nabla^2 G_{\sigma} * I(x,y) \right)$$
   • 先用高斯核 $G_{\sigma}$ 对图像进行模糊，得到尺度空间图像 $S(x,y,\sigma)$。
   • 再对 $S$ 用拉普拉斯核进行卷积，得到 $\nabla^2 S$。(这也可以用DoG高斯差分金字塔近似，比如sift就是用DoG来近似LoG)
   • 最后乘以 $\sigma^2$ 进行归一化。

3. 检测局部极值

   • 邻域空间：对于每个像素 $(x,y)$，检查其在当前尺度 $\sigma$ 上的响应值 $R(x,y,\sigma)$ 是否是其空间邻域内的最大值（通常是3x3窗口）。
   • 邻域尺度：同时检查在相邻的尺度 $\sigma_{prev}$ 和 $\sigma_{next}$ 上的响应值（共27个邻居），确保 $R(x,y,\sigma)$ 也是这两个尺度上的局部最大值。

4. 输出

   • 位置：$x^*, y^*$ 对应的像素坐标
   • 特征尺度：$\sigma^*$（Blob 的大小)
   • 响应强度：$R(x^*, y^*, \sigma^*)$（Blob 的显著程度）

SIFT 关键点定位#

DoG 检测到的候选关键点是在离散空间中找到的极值，位置精度受限于像素网格。SIFT 通过拟合三维二次函数来获取子像素精度的位置和尺度。

对 DoG 函数 $D(x,y,\sigma)$ 在当前候选点处做二阶泰勒展开，求导得到偏移量 $\hat{\mathbf{x}}$。若 $\|\hat{\mathbf{x}}\| > 0.5$，说明极值点更靠近相邻像素，需要插值移位后重新拟合，直到收敛或超出迭代次数。

拟合后还需两次筛选：

• 低对比度剔除：将 $\hat{\mathbf{x}}$ 代回泰勒展开得到极值 $D(\hat{\mathbf{x}})$，若 $|D(\hat{\mathbf{x}})| < T$（通常 $T=0.03$）则认为对比度太低，剔除。
• 边缘响应剔除：DoG 在边缘处也会产生强响应，但边缘上的关键点沿边缘方向定位不准。SIFT 用 Harris 矩阵的思想——计算该点处的 $2\times2$ Hessian 矩阵，若主曲率比值 $\frac{\text{tr}(H)^2}{\det(H)} > \frac{(r+1)^2}{r}$（通常取 $r=10$），则判定为边缘响应并剔除。

SIFT 方向分配#

每个关键点被赋予一个主导方向，从而使描述子具备旋转不变性。

以关键点所在尺度 $\sigma$ 的 1.5 倍为半径，取高斯加权窗口内的像素，计算每个像素的梯度幅值和方向。将方向 $0^\circ$–$360^\circ$ 量化到 36 个柱（每柱 $10^\circ$），用梯度幅值加权投票，生成方向直方图。直方图的最高峰对应的方向即主方向。若有其他峰值达到主峰值的 80%，则额外为该峰创建一个关键点（同一位置、不同方向）。

SIFT 描述子（128维）#

方向分配完成后，以关键点为中心取 $16\times16$ 的邻域窗口，旋转到主方向对齐（保证旋转不变）。将窗口划分为 $4\times4$ 个子区域，每个子区域内计算 8 个方向的梯度直方图（同样用高斯加权）。$4\times4\times8=128$ 个数值构成描述子向量。

最终对 128 维向量做归一化（消除光照线性变化的影响），并对大于 0.2 的幅值截断后再次归一化（抑制大梯度值的干扰，提高对非线性的光照变化的鲁棒性）。

:::tip 从 Blob 到 SIFT 的完整链条

:::

:::tip LoG / DoG / NLoG 关系速查

• LoG $=\nabla^2 G_\sigma$：拉普拉斯算子对高斯核作用，检测 Blob。
• NLoG $=\sigma^2 \nabla^2 G_\sigma$：乘 $\sigma^2$ 保证多尺度下响应可比。
• DoG $\approx (k-1)\sigma^2 \nabla^2 G_\sigma = (k-1)\cdot\text{NLoG}$：相邻高斯层差分近似 LoG，多出常数因子 $(k-1)$ 不影响极值定位。

:::