图像匹配的演进：从可学习检测器到三维基础模型

TL;DR 图像匹配在过去七年被重写了四次：SIFT 之后，学习型检测器与描述子（SuperPoint、D2-Net、R2D2、DISK）把「在哪里找点」交给网络；SuperGlue 与 LightGlue 把「怎么配对」变成图神经网络与自适应注意力；LoFTR 与 DKM 干脆取消检测器，在稠密特征图上做由粗到细的匹配；DUSt3R 与 MASt3R 则把匹配降格为三维点图回归的副产品。每一次范式迁移都解决了上一代最疼的瓶颈，也把瓶颈推给了下一层：检测器的可重复性、匹配器的外点率、稠密匹配的显存、三维模型的速度与尺度。本文沿三条轴——对应定义在哪个空间、监督从哪里来、计算原语是什么——把 16 篇代表作串成一条线，并指出一个反直觉的结局：当稠密匹配与三维基础模型看似接管一切时，LoMa、RaCo、FlexGlue 用数据、容量与稀疏查询把稀疏路线重新拉回 SOTA。最后，本文审计六代基准的饱和与协议差异，说明为什么「榜单第一」越来越难支撑「方法更好」的结论。

• 系列文章：本综述对应站内的 22 篇单篇解读（本次新写 14 篇，另有 8 篇既有的相关解读）。按年份依次是 D2-Net、R2D2、DISK、LoFTR、ALIKE、DKM、ALIKED、LightGlue、DUSt3R、XFeat、MASt3R、XoFTR、MINIMA、RIPE；既有的 SuperPoint、SuperGlue、DeDoDe、DaD、RoMa v2、LoMa、RaCo、FlexGlue。

一、引言：一个被重写四次的题目

图像匹配要回答一个看似简单的问题：给定两张拍摄同一场景的图片，找出像素之间的对应关系。它是三维重建、视觉定位、SLAM、全景拼接与多视图立体的共同前端——匹配错了，后面的位姿估计、三角化、捆集调整都会跟着错；匹配少了，重建就会缺墙、缺角、缺整栋楼^[1]。

这个问题在 2004 年有一个近乎标准的答案：SIFT^[2]。检测尺度空间极值、估计主方向、计算梯度直方图、做比值检验，再交给 RANSAC 估计单应或基础矩阵。这套流水线统治了十多年，直到深度学习把每一步都换掉。

过去七年，图像匹配至少被重写了四次：

1. 学习型检测器与描述子（2018–2022）：SuperPoint^[3] 用合成数据预训练、再用单应自适应微调；D2-Net^[4] 把描述子范数当检测分数；R2D2^[5] 把「可重复」与「可靠」拆成两张热图；DISK^[6] 用策略梯度直接优化匹配数。它们共同回答的问题是：关键点能不能学？
2. 稀疏匹配器（2020–2026）：SuperGlue^[7] 把两组关键点放进图神经网络，用注意力与 Sinkhorn 做分配；LightGlue^[8] 让层数与点数随图像对的难度自适应。它们回答的是：给定两组点，怎么配对才最稳？
3. 无检测器稠密匹配（2021–2025）：LoFTR^[9] 取消检测器，在 1/8 分辨率的特征图上做自/交叉注意力，再逐级细化；DKM^[10] 把匹配写成核回归；RoMa^[11] 用冻结的 DINOv2 做先验。它们回答的是：如果检测器本身就是瓶颈，能不能不要检测器？
4. 三维基础模型（2024–2026）：DUSt3R^[12] 直接回归两张图的点图（pointmap），不做标定、不做特征匹配、不做捆集调整；MASt3R^[13] 再给点图加一个描述子头，把匹配接回三维。它们回答的是：匹配能不能不是目的，而是三维理解的副产品？

这四次重写不是简单的替代关系。每一次都解决了上一代最疼的瓶颈，也把瓶颈推给了下一层：学习型检测器解决了手工特征的语义鸿沟，却让「检测器决定上限」成为新问题；稀疏匹配器解决了描述子最近邻的外点率，却受制于两边的可重复性；稠密匹配绕开了检测器，却把显存和速度变成瓶颈；三维基础模型绕开了整条流水线，却要面对尺度、动态场景与推理成本。更反直觉的是，2026 年的 LoMa^[14]、RaCo^[15] 与 FlexGlue^[16] 又把稀疏路线拉了回来——不是靠新算子，而是靠数据规模、模型容量与「稀疏查询 + 稠密特征」的混合设计。

本文试图把这条线讲清楚。贡献有三点：

• 一条分类轴：按「对应定义在哪个空间」「监督从哪里来」「计算原语是什么」把方法分成五族，而不是按会议或年份罗列。
• 一条时间线：把 2019–2026 年的 16 篇代表作放进同一张图，标出每次迁移的触发条件与代价。
• 一次基准审计：把 HPatches、MegaDepth-1500、ScanNet-1500、IMC、WxBS、HardMatch 六代基准的协议、规模与饱和程度放在一起比较，说明为什么今天的榜单越来越难支撑「方法更好」的结论。

把四条流水线并排放在一起，能更清楚地看到每次迁移到底删掉了什么（图 1）。

二、问题的形式化与三条评价轴

2.1 从像素到对应

记两张图为 $I,I^{\prime }\subset {\mathbb{R}}^{H\times W\times 3}$。匹配要输出一个对应集合

$$\mathcal{M}=\{(p_i,p_i^{\prime }){\}}_{i=1}^N,p_i\in I,p_i^{\prime }\in I^{\prime },$$

或者一个软分配矩阵 $P\in [0,1{]}^{N\times N^{\prime }}$，其中 $P_{ij}$ 表示关键点 $p_i$ 与 $p_j^{\prime }$ 对应的概率。若场景是平面或近似平面，对应应满足单应约束 $p_i^{\prime }\sim H{p}_i$；若是一般三维场景，应满足极几何 $p_i^{\top }F{p}_i^{\prime }=0$；若再往前一步，对应还可以写成两个三维点图之间的最近邻：

$$p_i^{\prime }=\pi (X^{\prime }(p_i)),X,X^{\prime }\in {\mathbb{R}}^{H\times W\times 3}.$$

这三种写法对应三种范式：关键点空间（稀疏）、像素空间（稠密）、三维空间（点图）。它们的评价指标、失败模式与计算成本都不一样，后面的分类就建立在这个区别上。

图 2 把三种写法画在同一张图上。

2.2 三条轴

只看「用了什么网络」会把方法分成无穷多类。更有解释力的分法是问三个问题：

轴	取值	代表
对应定义在哪个空间	关键点 / 像素网格 / 三维点图	SuperPoint+SuperGlue / LoFTR / DUSt3R
监督从哪里来	合成单应 / SfM 深度与位姿 / 弱标签 / 任务奖励 / 无监督	SuperPoint / D2-Net / RIPE / DISK / SIFT
计算原语是什么	相关体 / 注意力 / 核回归 / 点图回归	LoFTR / SuperGlue / DKM / DUSt3R

这条分类的好处是能解释「为什么某个方法在某个基准上强」：关键点空间的方法天然给出可解释的稀疏轨迹，适合 SfM 的增量式重建；像素空间的方法在低纹理区域更稳，但显存随分辨率平方增长；三维空间的方法把几何一致性写进输出，却要付出一整张点图的回归成本。

2.3 评价指标

稀疏方法常用 MMA（matching score，正确匹配数 / 较少的关键点数）、mAA（mean average accuracy，位姿误差阈值上的平均精度）与 AUC@5°/10°/20°（位姿误差累积曲线下的面积）；稠密方法还看 EPE（端点到端点误差）；定位任务用 PCK（percentage of correct keypoints）与 DUC（定位成功率）。这些指标看似只差一个阈值，实际上对「多给匹配」和「给对匹配」的偏好完全不同：MMA 奖励数量，AUC 奖励几何一致，PCK 奖励单点精度。跨论文比较时，必须先确认协议，再看数字。

三、前深度学习时代：SIFT 的四步与它的三个假设

SIFT 的流程可以拆成四步：尺度空间极值检测、关键点定位与过滤、方向分配、128 维梯度直方图描述^[2]。它之所以能统治十几年，是因为每一步都对应一个可解释的物理假设：

1. 尺度不变：在高斯差分（DoG）金字塔上找极值，关键点的尺度由所在层决定，描述子在该尺度上采样。
2. 旋转不变：用梯度方向直方图的主峰作为关键点方向，描述子随之旋转。
3. 光照与视角的局部近似：梯度方向对亮度变化不敏感；小的视角变化可以用局部仿射近似。

匹配阶段用最近邻 + 比值检验（ratio test）筛掉模糊匹配，再用 RANSAC 估计单应或基础矩阵。这套组合的鲁棒性来自「局部描述 + 全局几何验证」的分工：描述子负责提出候选，RANSAC 负责否决离群值。

但 SIFT 的三个假设也划定了它的天花板。低纹理区域没有稳定的梯度方向；大视角变化下局部仿射近似失效；重复纹理让最近邻产生大量歧义。更根本的是，SIFT 的检测器与描述子是手工设计的，无法从数据里学习「哪些点对下游任务有用」。这三个盲区，正好是 2018 年之后学习型方法的主攻方向。

图 3 把这条流水线与三个假设放在一起。

在 SIFT 之后、深度学习之前，还有一条重要的中间路线：学习描述子而不学习检测器。L2-Net、HardNet 等工作用深度网络替换 128 维梯度直方图，但关键点仍由 DoG 或 Harris 给出；它们在 HPatches 上把描述子的匹配性能推高了一截，却没能突破「检测器决定上限」的结构^[17]。这条路线为后来的端到端方法留下了两个问题：检测器能不能也学？检测与描述能不能一起优化？

四、第一范式：学习型检测器与描述子（2018–2022）

4.1 从「学描述子」到「学检测器」

SIFT 之后的第一波深度学习并没有立刻替换检测器。L2-Net、HardNet 等工作的做法是保留 DoG/Harris，只把 128 维描述子换成卷积网络；它们证明了「描述子可以从数据里学」，但也暴露了一个结构性限制：检测器决定了哪些点有机会被描述，描述子再好也救不回检测器漏掉的区域。于是 2018 年之后，研究重心转向「检测与描述一起学」。

这一转向有两条技术路线。一条是稠密预测 + 后处理：网络对每个像素输出检测分数与描述子，最终用 NMS/top-k 选点；SuperPoint、D2-Net、R2D2、ALIKE 都属于这一支。另一条是直接优化下游目标：把「选点」建模成随机策略，用匹配数或位姿误差作为奖励；DISK、DaD、RIPE 属于这一支。两条路线的分歧不在网络结构，而在「检测器的训练信号从哪里来」。

4.2 SuperPoint：合成预训练与单应自适应

SuperPoint 的贡献不是某个新算子，而是一套在没有关键点标注的情况下造监督的流程^[3]。它先在合成的线段、三角形、矩形、立方体上训练一个 MagicPoint 检测器——这些形状的角点是「没有争议的」；再把 MagicPoint 应用到真实图像上，用 100 组随机单应变换做单应自适应（homographic adaptation）：同一物理点在多个变换下被检测到的位置经逆变换投回原图，取平均作为伪真值。检测头与描述子头共享一个 VGG 式编码器，检测头在 8×8 的格子上输出 65 维（64 个格子 + 1 个 dustbin），描述子头输出 256 维。

这套流程解决了两件事：没有真实关键点标注，以及合成到真实的域迁移。它的代价是检测分辨率被 8×8 的格子锁死，亚像素定位只能靠后续插值；而且「单应自适应」假设场景近似平面，遇到大视角或非平面场景时伪真值会退化。这两个代价，恰好是 D2-Net 与 ALIKE 的出发点。

图 4 画出这个闭环。

4.3 D2-Net：把描述子当检测器

D2-Net 把顺序倒了过来：先描述，再检测（describe-and-detect）^[4]。它用 VGG16 的 conv4_3 特征图，每个像素是一个 512 维向量，既当描述子，又当检测响应——对每个通道，在空间上取 3×3 局部极大；再在通道维度上取极大，得到该像素的检测分数。训练时用 MegaDepth 的像素级对应和 batch-hard triplet loss，检测分数作为软权重参与损失，因此不需要关键点标注。推理时有 hard detection（直接取局部极大）与 soft detection（对检测图做 softmax 后加权平均）两种模式；多尺度推理把不同尺度的检测图 resize 后相加。

D2-Net 的意义在于证明了检测器不必是独立的网络：一张为描述而训练的特征图，其范数本身就携带「哪里值得检测」的信息。它的弱点也很清楚：检测分数来自描述子的通道极大，受描述子训练目标支配，遇到重复纹理或低对比度区域会给出成片的响应；多尺度推理则让计算量成倍增长。Aachen Day-Night 上，D2-Net 在 0.5m/2° 下达到 44.9%，高于 SuperPoint 的 42.8% 与 RootSIFT 的 36.7%，说明「描述子驱动的检测」在跨光照场景里确实更稳。

4.4 R2D2：把可重复性与可靠性拆开

R2D2 的核心观察是：「这个点在两张图里都能被找到」和「这个点的描述子足够独特」是两个不同的问题^[5]。它用 L2-Net 主干同时输出稠密描述子 $X$、重复性热图 $S$ 与可靠性热图 $R$，最终关键点分数是 $S\cdot R$。训练仍然用随机单应/光流造 warp：$S$ 的监督来自 warp 前后局部描述子的余弦相似度，再加一项 peakiness 正则让响应成峰；$R$ 与描述子则用可导的 AP 排序损失联合优化——AP 低于阈值 $\kappa$ 的 patch 被 $R$ 压到 0，描述子梯度也随之为 0。

这个设计的价值在于把「检测」与「描述」的监督解耦：$S$ 只关心可重复性，$R$ 只关心区分性，二者相乘后再做 NMS。R2D2 只有 0.5M 参数，HPatches 上 MMA@3 为 0.686、M-score 0.453，明显高于 SIFT 的 0.288 与 LF-Net 的 0.335；Aachen 夜间定位为 45.9/65.3/86.7。它的局限是训练依赖单应 warp，遇到非平面、大视角或动态场景时，$S$ 的伪真值会失真。

4.5 DISK：用策略梯度直接优化匹配数

DISK 把「选哪些点」建模成一个随机策略^[6]：图像被划成 8×8 的格子，每个格子先按 softmax 采样一个像素，再用 sigmoid 决定接不接受，因此每次前向得到的点数可变。匹配则用行/列 softmax 松弛成概率分布，期望匹配数可以闭式求和。训练用 REINFORCE 直接最大化下游匹配奖励：有深度时用深度重投影误差，没有深度时退化为对极距离。

DISK 最关键的技术点是匹配分布取精确期望，而不是从匹配分布里采样。这样梯度里只有特征采样的方差，没有匹配采样的方差；论文因此可以从随机初始化开始训练，而不需要像 RFP 那样先预训练 SuperPoint。1.1M 参数的 U-Net 在 IMC 2020 上拿到 stereo mAA 0.5132、multiview 0.7271，是当时不用学习型匹配器的第一名；HPatches AUC@5px 为 0.689（2k 点）/0.698（8k 点）。

DISK 的代价是采样方差：即使有精确期望，检测采样本身仍有噪声；训练也需要较长的收敛时间。它真正的遗产是「检测器可以直接优化匹配目标」这一思路——后来的 DaD、RIPE^[26]、RaCo 都在不同程度上继承了它。

把 SuperPoint、D2-Net、R2D2 与 DISK 的检测头放在一起，能看到四种不同的「检测分数从哪里来」（图 5）。

4.6 ALIKE 与 ALIKED：亚像素与可变形描述

ALIKE 回到稠密预测路线，但解决了 SuperPoint 的两个遗留问题^[18]。第一，亚像素：它保留 score map + NMS 的骨架，但把 NMS 的格点位置换成一个局部窗口内的 soft-argmax——NMS 负责粗定位，格点内的偏移由邻域分数的 softmax 期望给出，于是关键点位置可以被重投影损失直接、端到端地优化。第二，轻量：ALIKE-N 只有 0.318M 参数、7.91 GFLOPs，在 640×480 上跑到 95 FPS（Titan X Pascal），HPatches MHA@3 为 75.74%，比 ASLFeat(MS) 高 2.22 个点，计算量却只有它的 1/5.6。训练目标是四项之和：单应 warp 下的重投影损失、离散度峰值损失、NRE 描述子损失与可靠性损失；消融显示重投影损失贡献最大（MMA@3 +2.61、MHA@3 +3.52）。

ALIKED 是 ALIKE 的「减法」版本^[19]：它不再先算一张稠密描述子图再在关键点处采样，而是用 SDDH（sparse deformable descriptor head）为每个关键点从 $K\times K$ 特征块预测 $M$ 个采样位置，双线性采样后聚合。描述子的计算量因此只与关键点数 $N$ 成正比，而不是与像素数 $H\times W$ 成正比；Tiny 版只有 0.192M 参数、1.37 GFLOPs，在 640×480、1K 关键点、RTX 2060 上达到 125.87 FPS，HPatches MHA@3 78.70。更重要的是，稀疏描述子让 NRE 损失可以从稠密概率图松弛到关键点上的稀疏分类，训练显存从 11.1 GB 降到 3.2 GB（480²、batch 1），这才允许在 800² 分辨率上继续训练。

ALIKE 与 ALIKED 的对比也说明了一个常被忽略的事实：参数少不等于算得快。R2D2 只有 0.484M 参数，却需要 464.55 GFLOPs，因为多尺度与稠密相关才是计算大头；ALIKE-N 用 7.91 GFLOPs 就拿到了更高的 MHA。效率的瓶颈在算子，不在参数量。

4.7 第二波：DeDoDe、DaD 与 RaCo（2024–2026）

2024 年之后，学习型检测器又出现了一次「回到监督信号」的转向。DeDoDe 指出，用描述子的互为最近邻（MNN）当检测监督并不保证 3D 一致；它把检测器与描述子彻底拆开：检测器直接用大规模 SfM/MVS 重建里的 3D track 监督，先构造平滑的检测先验，再用 top-k 二值目标做半监督的两视图交叉熵，并加一项覆盖正则；描述子只在检测器给出的关键点上优化双 softmax 的负对数似然^[20]。DeDoDe-G 在 MegaDepth-1500 上 AUC@5° 为 52.8，比 DISK 的 35.0 高 17.8；IMC2022 为 75.8 mAA。

DaD 则把检测器重新放回 REINFORCE 框架，但把推理时的 KDE 平衡、NMS、确定性 top-k 搬到训练里，避免 on-policy 采样塌缩到单个峰；它还发现旋转增广会让检测器二选一（只检测亮关键点或只检测暗关键点），于是训练亮、暗两个专家再蒸馏成一个^[21]。512 个关键点时，MegaDepth-1500 的 E/F AUC@5° 为 64.9/50.6，ScanNet-1500 为 25.7/18.3，HPatches AUC@3px 58.2，五个基准全部最好；但到 8192 个关键点，优势明显收窄。

RaCo 把关键点问题再拆成三个头：用策略梯度训练、只追求可重复性的检测器；用 soft rank 训练、让「前 $n$ 个点」在两张图里尽量一致的排序器；用单应自适应监督、输出像素尺度 $2\times 2$ 协方差的估计器^[15]。整个网络只在单张图片的合成单应对上训练，靠全 360° 旋转增强获得旋转鲁棒性：HPatches 旋转可重复性 AUC@2px 为 78.3，相比 DaD 的 62.0 与 SIFT 的 69.6；单张推理 4.8 ms。排序器是即插即用的——给 SuperPoint 加上它，128 个点的预算下可重复点数接近翻倍。

这条第二波路线的共同点是：不再发明新的检测算子，而是换监督信号、换训练策略、换输出接口。DeDoDe 换的是 3D track，DaD 换的是采样策略，RaCo 换的是「排序 + 不确定性」。它们把第一范式的天花板又抬高了一截，但没有改变「检测器决定上限」这个结构——直到稠密匹配出现。

4.8 效率轴：XFeat

XFeat 代表了另一条轴线：在精度不显著下降的前提下，把检测、描述、匹配压到 CPU/边缘设备可承受的范围^[22]。它用 23 层卷积、早期下采样、4→8→24→64→64→128 的三倍率通道增长（而不是 VGG 式翻倍），在保持高分辨率的同时把通道数压到 128；检测头、可靠性热图与 64 维稠密描述子从共享特征上用 1×1 卷积解耦。它支持稀疏匹配，也支持 XFeat* 的半稠密匹配：用粗描述子做稠密对应，再用一个 match refinement 模块精化。VGA 输入、i5-1135G7 CPU 上 27.1 FPS（SuperPoint 3.0、ALIKE 5.3、DISK 1.2），比 ALIKE 快 5 倍、比 SuperPoint 快 9 倍；在 28 美元的 Orange Pi Zero 3 上仍有 1.8 FPS（SuperPoint 0.16、ALIKE 0.58）。

XFeat 的位置很微妙：它出现在无检测器稠密匹配最火的时候，却证明了稀疏局部特征在效率维度上仍然不可替代。当部署目标是手机、无人机或嵌入式设备时，LoFTR 式的稠密相关体根本放不下；而 XFeat 这样的轻量稀疏前端，配一个 LightGlue 式的轻量匹配器，仍然是性价比最高的方案。

图 6 比较四种方法在两种 CPU 上的速度。

4.9 第一范式的共同教训

把这一范式的工作放在一起，能得到三条教训：

1. 监督信号比网络结构更重要。SuperPoint 的 MagicPoint、D2-Net 的 triplet、R2D2 的 AP 排序、DISK 的 REINFORCE、ALIKE 的重投影，网络结构差异不大，真正的差异是「用什么信号告诉检测器哪些点有用」。
2. 检测器的上限是结构性的。无论检测器多好，它只能给出「两张图都检测到的点」；低纹理、大视角、重复纹理下，检测器会同时漏掉两侧的点，匹配器再强也无法恢复。这正是 LoFTR 取消检测器的动机。
3. 可重复性与可靠性必须分开评价。R2D2 之后，只报「匹配数」或只报「位姿 AUC」都不够；一个方法可能匹配很多但外点率高，也可能匹配很少但个个正确。后来的基准（HardMatch 的 PCK、IMC 的 mAA）都在试图同时约束这两面。

五、第二范式：稀疏匹配器（2020–2026）

5.1 SuperGlue：把「配对」变成一个可学习的模块

第一范式把检测与描述都学了起来，但匹配本身仍是一个几何算法：最近邻 + 比值检验 + 互查。SuperGlue 的贡献是把这一步也换成网络^[7]：它把两组关键点的坐标与描述子编码成节点特征，用多层自注意力与交叉注意力让两侧的点互相「看见」，再用一个可微的最优传输（Sinkhorn）层输出分配矩阵，并额外给每个点一个 dustbin 槽位以吸收不可匹配的点。

这个设计解决了一个比「描述子够不够好」更根本的问题：匹配是一个全局约束问题。比值检验只看单个描述子的最近邻，容易在重复纹理上产生一对多；注意力让每个点参考另一侧所有点的上下文，Sinkhorn 再把分配约束成双随机矩阵，于是「一个点只能配一个点」变成了优化的一部分，而不是后处理。SuperGlue 之后，稀疏匹配的流水线变成「检测器 + 描述子 + 匹配器」三段，匹配器第一次成为可以单独训练、单独替换的模块。

5.2 LightGlue：让计算量随难度自适应

SuperGlue 的问题不在精度，而在成本：它对每一对图像都跑满层数与全部关键点，简单图像对和困难图像对付出一样的代价。LightGlue 的核心命题是让计算量随问题难度自适应^[8]。它保留了 SuperGlue 的自/交叉注意力骨架，但换掉了三个最贵的部件：

• 自注意力用旋转相对位置编码，把几何关系写进注意力权重，而不是额外的位置 MLP；
• 交叉注意力只算一次相似度、双向共用，避免两次矩阵乘；
• 匹配头用「可匹配性 sigmoid × 双 softmax」替代 Sinkhorn 与 dustbin，分配不再需要迭代归一化。

更关键的是逐层监督：每一层都输出匹配与置信度，因此简单图像对可以在第 3 层提前退出（adaptive depth），低匹配概率的点可以在中间层被剪掉（adaptive width）。MegaDepth-1500 上，SuperPoint+LightGlue 的 LO-RANSAC AUC@5° 为 66.7、匹配耗时 44.2 ms；SuperGlue 为 65.8、70.0 ms；开启自适应后为 66.3、31.4 ms——精度只掉 0.4，速度快 29%。Aachen 夜间定位的吞吐是 SuperGlue 的 2.5–4 倍。

LightGlue 的遗产不只是速度。它证明了匹配器的容量与计算可以按需分配：不是所有图像对都值得跑 9 层注意力，也不是所有关键点都值得参与后续层。这个思想后来被 LoMa 继承（9 层、1024 维），也被 FlexGlue 扩展成「稀疏查询 + 稠密特征」。

图 7 对比两种匹配器的结构与速度—精度。

5.3 LoMa：稀疏路线用数据与容量回归

2026 年的 LoMa 是对「稀疏匹配已死」的一次正面反驳^[14]。作者的观察很朴素：过去几年稀疏匹配器的训练几乎都停在 MegaDepth 上，模型容量停在 LightGlue 时代（256 维、9 层、5 万步），而稠密匹配与前馈重建的进步，很大一部分来自数据规模、模型容量与算力的同步放大。于是 LoMa 不做新算子，只做三件事：把训练数据扩到 17 个 3D 数据集、把匹配器嵌入维度从 256 扩到 1024、把训练从 50K 步拉到 250K 步；检测器用 DaD，描述子用 DeDoDe，匹配器沿用 LightGlue 的 9 层结构。

结果说明容量与数据仍然有效：LoMa-G 在 HardMatch 上 mAA@10px 为 54.3，比 ALIKED+LightGlue 的 35.7 高 18.6；WxBS 73.4，以 0.8 分超过 RoMa 的 72.6；IMC 2022 89.3，超过 2022 年冠军集成。但在 MegaDepth-1500 与 ScanNet-1500 的相对位姿上，RoMa v2 仍然领先（AUC@5° 62.8 对 56.5）。换句话说，稀疏路线的回归主要发生在难基准与视觉定位上，而不是在已经饱和的相对位姿基准上。

LoMa 同时发布了 HardMatch：1000 对人工标注对应点的极难图像对，覆盖视角、时间、光照、自然、航拍、天体、季节、Doppelgänger、手绘九个分组，人类基线约 88% PCK@10px。这个基准的意义在第 8 节展开。

5.4 FlexGlue：稀疏查询，稠密特征

FlexGlue 把稀疏与稠密的分界线又推进了一步^[16]：它不在两张图的关键点之间做匹配，而是把一张图上的任意查询点，送到另一张图的稠密 token 网格里找亚像素对应。这样既摆脱了「两边都得检测到」的可重复性瓶颈，又避免了稠密匹配为每个像素预测和精化的开销。更关键的是，它把「这两张图到底是不是同一个地方」（视觉消歧，visual disambiguation）作为同一个网络的输出联合训练，并在每一层都给出判断，于是非共视的 doppelgänger 图像对可以在前几层提前退出。

结果是：ETH3D^[31] 上端到端 SfM 的位姿 AUC@3° 从 LoMa-B + DG++ 的 81.2 提高到 86.8，吞吐却是后者的 7.5 倍；IMC2025 用 10k 个关键点超过榜首 8 分。FlexGlue 的意义在于它不再把「稀疏 vs 稠密」当成二选一：查询可以是稀疏的，特征是稠密的，匹配在两者之间完成。这可能是 2026 年之后最值得关注的结构。

5.5 第二范式的教训

稀疏匹配器的演进给出了三条可操作的结论：

1. 匹配器是全局约束器，不是描述子的替代品。SuperGlue 的注意力与 Sinkhorn、LightGlue 的逐层分配、LoMa 的深层匹配器，做的都是「把局部描述子放进全局一致性里」；描述子再好，没有全局约束仍会产生一对多与外点。
2. 容量与数据仍然有效，但要放对位置。LoMa 把容量加在匹配器上而不是检测器上，把数据加在 3D 重建而不是合成单应上，才在 HardMatch 上拿到 18.6 的提升。反过来，如果只加在检测器上，收益会被「检测器决定上限」抵消。
3. 稀疏路线的真正优势是接口。它天然给出多视图轨迹、可解释的匹配、与 SfM/SLAM 的无缝集成；这些是稠密匹配与三维基础模型不容易提供的。FlexGlue 的「稀疏查询 + 稠密特征」正是在保留接口的同时补上鲁棒性。

六、第三范式：无检测器稠密匹配（2021–2025）

6.1 LoFTR：取消检测器

LoFTR 的出发点是一个结构性的判断：检测器是稀疏匹配的上限^[9]。如果两张图里有一侧没检测到某个点，匹配器再强也无法恢复；而低纹理、大视角、重复纹理恰恰是检测器最容易漏检的地方。于是 LoFTR 把检测器整个拿掉：CNN 金字塔在 1/8 分辨率上提取粗特征，交替的 self/cross attention 让两张图的全部网格交换上下文，直接在所有网格之间建立稠密匹配；再把高置信度的粗匹配送到 1/2 分辨率的 5×5 窗口里，用相关热图的期望值做亚像素细化。

两个设计决定了它的可行性。第一是线性注意力：全局注意力的复杂度从 $O(N^2)$ 降到 $O(N)$，640×480 的图像对可以在 116 ms 内跑完；第二是由粗到细：粗层在 1/8 分辨率上做全局搜索，细层只在粗匹配附近的小窗口里精化，避免了全分辨率的相关体。粗匹配的分配有两种实现：dual-softmax（对相关矩阵的行、列分别做 softmax 后取乘积）与最优传输（用 Sinkhorn 求双随机分配）；论文发现 OT 在低纹理场景更稳，但 dual-softmax 更快，于是两个权重都发布。

结果是：HPatches 单应估计 AUC@5px 75.6（SuperGlue 68.3），MegaDepth-1500 位姿 AUC@5° 52.8（SuperGlue 42.18），ScanNet-1500 22.06（SuperGlue 16.16）。LoFTR 的胜利不是「稠密一定比稀疏好」，而是当检测器成为瓶颈时，绕开它比改进它更有效。

6.2 DKM：把匹配写成核回归

DKM 把 LoFTR 的「在 4D 相关体上回归」改写成高斯过程回归^[10]：B 的每个像素都是一个基，核权重由两图深度特征的余弦相似度给出，整张 B 特征图都参与加权；被回归的值是 B 的坐标嵌入，而不是特征本身，余弦嵌入让多峰后验不会塌缩成一个中间坐标。粗 warp 随后经过「堆叠特征图 + 5×5 深度可分离卷积」逐级精化；置信度直接用「深度一致」构造监督，采样时再用 KDE 做场景平衡。

这个改写解决的是 LoFTR 式局部窗口的盲区：局部窗口只能看到粗匹配附近的一小块，遇到重复纹理或大视角时会锁死在错误的峰上；核回归让整张图都参与，权重由特征相似度决定，因此在多峰情况下更稳。DKM 在 MegaDepth-1500 上 AUC@5 为 60.4（ASpanFormer 55.3），ScanNet-1500 为 29.4（ASpanFormer 25.6），HPatches AUC@3px 71.3。

DKM 的代价是显存与计算：整张特征图做基意味着相关矩阵仍然是 $O(HW\cdot H^{\prime }{W}^{\prime })$，高分辨率下依然昂贵。这个代价把稠密匹配推向了下一个问题：能不能不显式构造相关体？

6.3 RoMa 与 RoMa v2：冻结先验与稠密回归

RoMa 的回答是换先验：把粗匹配特征换成冻结的 DINOv2，把卷积解码器换成在 64×64 anchor 上预测概率的 Transformer，再用多尺度鲁棒回归精化^[11]。DINOv2 的语义特征让匹配在跨域、跨光照下更稳；WxBS 的 mAA 从 DKM 的 58.9 提到 80.1（+36%），IMC2022 拿到 88.0，MegaDepth-1500 AUC@5 62.6。

RoMa v2 把整套流程重做^[23]：DINOv3 + 交替注意力的多视图 Transformer、stride-4 粗匹配、两阶段训练、CUDA 局部相关、每像素 2×2 协方差。MegaDepth-1500 62.8/77.0/86.6，ScanNet-1500 33.6/56.2/73.8，640² 吞吐 30.9 对/秒（RoMa 的 1.7 倍），新基准 SatAst 的 AUC@10 从 RoMa 的 23.5 提到 37.0。注意 RoMa v2 仍然没有在 HardMatch 上超过 LoMa——它在已经饱和的相对位姿基准上领先，在极难图像对上仍会被稀疏方法反超。

RoMa 系列的意义在于：稠密匹配的瓶颈从「特征不够好」变成了「先验不够强、回归不够稳」。冻结的 DINO 先验解决了前者，多尺度回归与协方差解决了后者；但「每个像素都回归」的成本仍然是结构性的，这也是 FlexGlue 后来改回「稀疏查询」的原因。

图 8 把三种计算原语画在一起。

6.4 XoFTR：跨模态的稠密匹配

XoFTR 把 LoFTR 的骨架搬到跨模态场景：可见光—热红外（TIR）匹配^[24]。它用 ResNet backbone + LoFTR 式粗/细匹配 + 亚像素精化，但粗匹配改用 AdaMatcher 的 many-to-one / one-to-many 分配，而不是 LoFTR 的一对一——跨模态下同一个物理点可能在另一模态里对应一小片区域，一对一分配会强行压掉这种模糊性。训练分两阶段：先用 PMatch 式 masked image modeling（MIM）预训练，再用「可见光余弦变换」生成伪热红外做微调；前者学模态无关的表征，后者用廉价的伪配对弥补真实跨模态数据的不足。作者同时发布了 METU-VisTIR 数据集（多视角、多天气）。

在 METU-VisTIR 上，XoFTR 的位姿 AUC@5/10/20 为 12.59/27.90/45.03（cloudy-sunny）与 22.03/39.03/55.06（cloudy-cloudy），远高于 DKM、LoFTR、ASpanFormer 与 SP+SuperGlue。它的局限也很明显：数据集规模有限、模态覆盖窄、伪热红外与真实热红外的域差仍然存在。

6.5 MINIMA：跨模态是一个数据问题

MINIMA 的核心论点与 XoFTR 相反：跨模态匹配的瓶颈不是网络结构，而是数据^[25]。它不做新模块，而是造一个「数据引擎」：从便宜的 RGB-only 匹配数据出发，用生成模型合成多种伪模态（IR、depth、normal、event、medical、remote sensing 等），并继承原有的匹配标签与场景多样性。由此得到 MD-syn：约 480M 对、196 个室外场景、7 种模态的匹配数据集。任何现成匹配器（LoFTR、LightGlue/SuperPoint、RoMa、XoFTR）都可以在 MD-syn 上微调，得到 MINIMA 系列；不需要改架构，就能跨模态。

论文在 19 个跨模态 case（in-domain 与 zero-shot）上评测，报告 MINIMA 超过基线甚至模态专用方法，同时保持 RGB-only 的 MegaDepth-1500 能力。这个结果说明：当数据规模足够大时，模态不变性可以从数据里学出来，而不必写进网络结构。它的代价是算力与数据生成的真实性——伪模态毕竟不是真实模态，域差仍然会在极端场景里暴露。

图 9 对比这两条路线。

6.6 第三范式的教训

稠密匹配的五年给出了三条结论：

1. 绕开瓶颈比改进瓶颈更有效。LoFTR 没有把检测器做得更好，而是把它拿掉；DKM 没有把局部窗口做得更大，而是换成全局核回归；RoMa 没有训练更好的 CNN，而是换冻结的 DINO 先验。每一次「换问题」都比「解旧问题」带来更大的收益。
2. 稠密匹配的成本是结构性的。相关体、注意力、逐像素回归的复杂度都随分辨率增长；这也是为什么 EfficientLoFTR、RoMa v2 的 CUDA 局部相关、FlexGlue 的稀疏查询会成为后续工作的重点。
3. 跨模态是数据问题，不是结构问题。XoFTR 用 MIM + 伪热红外，MINIMA 用生成式数据引擎，两者都在补数据；当数据足够时，现成架构微调就能跨模态。这一判断在 2025 年之后越来越被接受。

七、第四范式：三维基础模型（2024–2026）

7.1 DUSt3R：把两张图回归成两个点图

前三代方法无论怎么变，都保留了同一条流水线：先匹配像素，再从匹配估计几何。DUSt3R 直接跳过了这条流水线^[12]：网络的输入是两张图，输出是两张点图（pointmap）$X,X^{\prime }\in {\mathbb{R}}^{H\times W\times 3}$，每个像素对应一个三维点，两张图的点都表达在同一个（第一张相机的）坐标系里。于是「匹配」不再是网络的输出，而是点图的副产品——两个点图里三维坐标最近的两个像素就是一对匹配；「位姿」也不再需要求解，从点图直接拟合即可；「深度」就是点图的 $z$ 分量；「内参」可以从点图的几何关系中恢复。

这个表述有几个深刻的后果。第一，不需要标定：网络在训练中见过大量不同内参的图像，学会了把内参隐含地编码进点图，推理时不再要求已知的 $K$。第二，不需要匹配器与 RANSAC：几何一致性被写进了回归目标，网络输出的点图本身就是几何一致的（在训练分布内）。第三，单目与双目被统一：一张图的点图就是单目深度，两张图就是双目重建，同一个网络、同一个损失。多视图时，DUSt3R 先对所有图像对回归点图，再用点图之间的匹配做全局对齐，把所有点图变换到同一坐标系——这一步取代了传统 SfM 的三角化与捆集调整。

DUSt3R 的架构并不复杂：ViT 编码器（用 CroCo v2 预训练）分别编码两张图，两个交叉注意力的解码器分别输出点图与置信度。真正的新意是用点图回归替代了几何求解，并在 CO3D、ScanNet++、ARKitScenes、Habitat、BlendedMVS、MegaDepth 等八个数据集上联合训练。论文报告它在单目/多视图深度与相对位姿上都超过了监督方法。代价也很直接：点图回归的精度受限于训练分布，遇到分布外场景（极端光照、透明物体、动态场景）时点图会退化；成对回归的复杂度让多视图重建需要 $O(N^2)$ 次前向。

7.2 MASt3R：把匹配接回三维

DUSt3R 的点图匹配在极端视角下很鲁棒，但精度有限——点图是「三维坐标」，两个独立回归的点图在细节上并不严格一致，最近邻匹配的定位精度不如专门的匹配器。MASt3R 的修正是给 DUSt3R 加一个稠密局部特征头（DSM）^[13]：解码器在输出点图的同时输出每个像素的描述子，用 GT 对应上的 InfoNCE 训练；匹配时用快速互惠最近邻（fast reciprocal matching），把 $O(N^2)$ 的稠密匹配降到可用。点图负责「鲁棒但粗」的几何，描述子负责「精确但局部」的对应，两者在同一个网络里共享特征。

这个「点图 + 描述子」的组合让 MASt3R 同时拿到了鲁棒性与精度：Map-free 定位的 VCRE AUC 绝对提升 30%，MegaDepth-1500 与 ScanNet-1500 的匹配也进入第一梯队；它还被用来做快速 SfM（MASt3R-SfM），用点图匹配代替传统增量式重建的匹配与三角化。MASt3R 的论点可以概括成一句话：匹配本质上是一个三维问题——把它当二维问题做，就不得不用 RANSAC 去补几何；把它当三维问题做，几何一致性就是训练目标的一部分。

7.3 VGGT：一次前向，全部几何

DUSt3R 与 MASt3R 仍然以「图像对」为基本单位，多视图要靠全局对齐拼起来。VGGT 把单位换成整个图像集合^[27]：一个 1.2B 参数的 Transformer 在一次前向里同时输出所有帧的相机参数、深度图、点图与三维点轨迹，输入可以是一帧、几帧或上百帧。它延续了 DUSt3R 的「用 Transformer 直接回归几何」的思路，但把交替注意力扩展到任意帧数，并用大规模数据训练；论文报告重建耗时不到 1 秒，且在相机参数、多视图深度、稠密点云与点跟踪上都达到 SOTA，预训练特征还能迁移到非刚性跟踪与新视角合成。

VGGT 的意义不在于某个指标，而在于它把「前馈重建」推到了通用骨干的位置：匹配、深度、位姿、跟踪不再是四个任务，而是同一个几何表征的四种读出方式。这与第一范式「检测器 + 描述子 + 匹配器」的三段式形成了最鲜明的对比——后者要针对每个任务设计接口，前者只需要一次前向。

图 10 对比三种输出结构。

7.4 第四范式的教训

三维基础模型给出的结论与前三代都不同：

1. 匹配可以降格为副产品。当网络直接回归几何时，「找对应」不再是独立问题，而是点图或特征的自然读出。这对以匹配为核心的下游（SfM、定位）是好事，对以匹配为研究对象的论文则是挑战：匹配精度不再是唯一的评价维度。
2. 数据与规模再次成为主变量。DUSt3R 的八个数据集、MASt3R 的匹配损失、VGGT 的 1.2B 参数与海量视频，都说明这一代方法的进步主要来自数据与容量，而不是新的几何算法。这与 LoMa 在稀疏路线上的结论一致。
3. 速度与精度仍未同时解决。成对回归的 $O(N^2)$、点图的分辨率限制、大模型的推理成本，使得三维基础模型在实时 SLAM 与嵌入式部署上仍然不现实；这也是稀疏与稠密方法在 2026 年仍然并存的原因。

八、基准审计：六代尺子与它们的饱和度

8.1 六代基准

图像匹配的评测史，就是一部「上一代基准被刷爆、下一代基准被造出来」的历史。表 3 把六代基准放在一起：

基准	年份	规模与任务	主要指标	2026 年的状态
HPatches[28]	2017	116 个序列（57 光照 + 59 视角），平面单应	MHA / AUC@1–10px	饱和：MHA@3 已到 78.7
MegaDepth-1500[29]	2018	1500 对，室外相对位姿	AUC@5/10/20°	接近饱和：AUC@5 62.8
ScanNet-1500[30]	2017	1500 对，室内相对位姿	AUC@5/10/20°	接近饱和：AUC@5 33.6
IMC 2020–2025[32]	2020–2025	大规模、多场景、SfM 与定位	mAA	仍能区分：89.3
WxBS[33]	2015	37 对宽基线图像	mAA	困难：73.4
HardMatch[14]	2026	1000 对人工标注对应点	PCK@10 / mAA@10	远未饱和：54.3，人类约 88

每一代基准都在针对上一代的盲区：HPatches 用平面单应把几何简化到极致，代价是它无法评价非平面场景；MegaDepth 用 SfM 深度与位姿把评测搬到室外三维，代价是它依赖 SfM 的质量；ScanNet 把场景换到室内，代价是纹理更少、视角更窄；IMC 把规模与场景多样性拉满，代价是排行榜与训练集的重叠难以审计；WxBS 专门收集宽基线难例，代价是只有 37 对、统计噪声大；HardMatch 用人工标注把「极端困难」定义清楚，代价是它只评匹配、不评完整流水线。

8.2 协议差异比方法差异更大

把不同论文的数字直接相减，是综述里最容易犯的错误。至少有三类协议差异会让同一方法在不同表格里差出几个点：

• RANSAC 实现：LO-RANSAC 与 OpenCV findHomography 的内点阈值、迭代次数不同；LoFTR、DKM、LightGlue 都在论文里分别报告两种数字，跨表比较时必须对齐。
• 图像分辨率与关键点预算：640×480 与 1200×1600 的特征分布完全不同；512、1024、2048、8192 个关键点下方法的排名会翻转——DaD 在 512 点时五个基准全部最好，到 8192 点时优势明显收窄。
• 训练数据：LoMa 用 17 个 3D 数据集、MINIMA 用 480M 对合成数据、RoMa v2 用 DINOv3 预训练；这些「外部数据」不在基准的训练集里，却实质性地改变了可比性。

一个具体的例子：LoMa 报告 MegaDepth-1500 AUC@5° 为 56.5，RoMa v2 为 62.8，看起来稠密方法领先 6.3 个点；但 LoMa 的关键点预算、RANSAC 实现与 RoMa v2 不同，且 LoMa 的训练数据更大。这个差距是真实的，但它不等于「稠密匹配在相对位姿上比稀疏匹配好 6.3 个点」——它只说明在这个协议下、这个预算下、这组训练数据下，稠密方法更强。

8.3 饱和之后：从「刷榜」到「诊断」

当 MegaDepth 与 ScanNet 的 AUC 曲线在大部分图像对上接近 1，基准能提供的信息就只剩下尾部——而那部分恰恰是统计噪声最大的。LoMa 的图 1 把这一点画得很清楚：MegaDepth 与 ScanNet 的 PCK 累积曲线在很小的累计比例处就接近 1，WxBS 只有 37 对，HardMatch 的曲线最靠右。于是 2024 年之后的论文开始同时报告三样东西：饱和基准上的数字（证明没有退步）、困难基准上的数字（证明真的有提升）、以及效率数字（证明提升不是用算力换的）。

这也是为什么本综述把「基准审计」单独成节：当榜单第一不再能支撑「方法更好」的结论时，评测本身就成了研究方向。

图 11 用公开数字画出两条饱和曲线。

8.4 从基准审计得到的三个判断

1. HPatches 与 MegaDepth 已经不能单独作为方法的证据。它们仍然是必要的回归测试——新方法不能在这些基准上退步——但「在 MegaDepth 上高 1 个点」不再等于「方法更好」。
2. IMC、WxBS、HardMatch 的价值在于暴露失败模式。IMC 评的是完整流水线，WxBS 评的是宽基线泛化，HardMatch 评的是极端困难下的匹配质量；三者都不能被单一数字概括，但都能回答「方法在哪里坏掉」。
3. 协议审计必须成为论文的一部分。同一方法在不同 RANSAC、不同分辨率、不同关键点预算下的排名会翻转；未来的基准应该像 IMC 一样，把检索、匹配、几何估计的每一步都固定下来，并公开训练集与评测集的隔离方式。

九、横切主题：数据、容量、速度与置信度

9.1 监督信号的四代演化

把 16 篇论文的训练信号排在一起，可以看到一条清晰的迁移：

监督来源	代表方法	能学到的	盲区
合成单应	SuperPoint、R2D2、ALIKE、RaCo	尺度、旋转、视角的局部不变性	非平面场景、大视角、动态物体
SfM 深度与位姿	D2-Net、DeDoDe、LoMa	真实三维几何、跨场景泛化	SfM 失败区域没有监督
生成式多模态	MINIMA	模态不变性、跨传感器匹配	伪模态与真实模态的域差
海量 3D/视频	DUSt3R、MASt3R、VGGT	几何先验、位姿、点图	数据与算力成本、分布外退化

这条演化的方向很清楚：从「造一个可控但简单的世界」走向「用真实世界的重建结果当老师」。合成单应的优势是标签精确、成本低；劣势是它假设了平面与静态，而这恰好是真实匹配最难的部分。SfM 监督解决了非平面问题，却继承了 SfM 的失败模式——低纹理、重复结构、动态场景正是 SfM 自己也做不好的地方。生成式数据与三维基础模型则把监督推到「用模型造数据、用数据训模型」的循环里，规模上去了，但数据的真实性与可审计性成了新问题。

9.2 容量：三个数量级的增长

2019 年的 R2D2 只有 0.5M 参数，2020 年的 DISK 是 1.1M，2022 年的 ALIKE-N 只有 0.318M；到 2024 年，DUSt3R 用 ViT-L（约 300M），2025 年的 VGGT 到 1.2B。匹配器的嵌入维度也从 LightGlue 的 256 扩到 LoMa 的 1024，层数从 9 层保持不变但每层更宽。容量的增长不是线性的堆叠，而是跟着监督信号的规模走：合成单应能提供的有效样本有限，模型再大也会过拟合；SfM 与视频数据把样本量提高了几个数量级，容量才变得有用。

这也解释了一个反直觉的现象：LoMa 没有发明新算子，只是把数据、维度、训练步数同时放大，就在 HardMatch 上比 ALIKED+LightGlue 高 18.6 个点。在匹配这个任务上，容量的边际收益取决于数据的边际供给；数据不够时加容量是浪费，数据足够时不加容量是保守。

图 12 用对数坐标画出这个差距。

9.3 速度：从「每对多少毫秒」到「每秒多少对」

速度的计量单位在七年里变了三次。SIFT 时代看「每张图多少关键点、多少毫秒」；LoFTR 时代看「每对多少毫秒」（640×480 下 116 ms）；RoMa v2 时代看「每秒多少对」（640² 下 30.9 对/秒）。单位变化的背后是任务的变化：稀疏匹配的瓶颈在检测与描述，稠密匹配的瓶颈在相关体与回归，三维基础模型的瓶颈在整场景的前向。

效率的另一个维度是算子而非参数：§4.6 的 R2D2 与 ALIKE-N 已经说明，参数量与计算量可以差两个数量级，多尺度与稠密相关才是计算大头。XFeat 用 23 层卷积与早期下采样把 CPU 推理压到实时，在 Orange Pi Zero 3 上跑到 1.8 FPS（SuperPoint 0.16、ALIKE 0.58）；LightGlue 用自适应深度把简单图像对的层数从 9 降到 3–4，Aachen 吞吐是 SuperGlue 的 2.5–4 倍。这些数字说明：匹配的效率问题从来不是「模型太大」，而是「对简单样本也付了最贵的计算」。

9.4 置信度：从附属输出到一等公民

七年里最容易被忽略、却贯穿所有范式的一条线是置信度。R2D2 把可靠性 $R$ 作为独立热图，DISK 用 NRE 估计描述子的区分性，DKM 用深度一致构造 certainty 并据此做场景平衡采样，LightGlue 用逐层置信度做早停与剪枝，RaCo 让检测器输出像素尺度的 $2\times 2$ 协方差，RoMa v2 为每个像素预测协方差。置信度的角色从「筛掉坏匹配的后处理」变成了三个东西：

1. 训练信号：R2D2 的 AP 排序、DKM 的 certainty 监督、RaCo 的协方差监督，都是把「这个点有多可信」直接写进损失。
2. 计算调度：LightGlue 的早停与剪枝、FlexGlue 的非共视提前退出，都是用置信度决定「还要不要算」。
3. 下游接口：SfM 与定位可以用协方差给匹配加权，而不是把所有内点当等权。

这条线的重要性在于：它把「匹配」从「给出一组对应」变成了「给出一组对应及其不确定性」。后者才是几何估计真正需要的东西。

9.5 跨域与跨模态：从结构到数据

跨模态匹配的路线变化最能说明这一代研究的方法论转向。XoFTR 用 MIM 预训练 + 伪热红外微调，本质是「用结构设计弥补数据不足」；MINIMA 直接造 480M 对、7 种模态的数据，用现成架构微调，本质是「用数据规模替代结构设计」。RoMa 用冻结的 DINOv2 先验提升跨域鲁棒性，LoMa 用 17 个 3D 数据集提升泛化——两者都没有专门为跨模态设计模块，却在跨域基准上表现很好。

这不一定意味着结构不重要，而是说明当数据规模跨过某个阈值时，模态不变性可以从数据里学出来。阈值在哪里、需要多少数据、伪模态能否替代真实模态，仍然是开放问题；但 2025 年之后的共识是：先补数据，再谈结构。

9.6 接口：匹配不是一件事

最后一个横切主题是接口。同样叫「匹配」，不同下游要的东西完全不同：

• SfM 要稀疏、可追踪、跨多视图一致的关键点轨迹；
• 光流与拼接要稠密、亚像素、带遮挡的 warp；
• 视觉定位要少量高置信匹配 + 协方差；
• 三维重建要点图、位姿、深度，匹配只是中间产物。

四种接口对应四种范式，也解释了为什么「哪种方法最好」没有统一答案。FlexGlue 的「稀疏查询 + 稠密特征」之所以值得关注，正是因为它试图用一个网络同时满足前三种接口：查询是稀疏的（SfM 可用），特征是稠密的（亚像素可用），置信度是逐层的（定位可用）。匹配研究的下一步，可能不是更高的 AUC，而是更通用的接口。

图 13 把这种分工画成矩阵。

十、开放问题

10.1 评测危机还没有解决

HardMatch 把头部方法压到 54.3 mAA@10px、人类约 88，说明极端困难场景仍有巨大空间；但 HardMatch 只评匹配、不评完整流水线，IMC 评流水线却难以审计训练集重叠，MegaDepth/ScanNet 已经饱和。目前没有一个基准能同时做到：困难、可审计、端到端。 这是比任何单点精度提升都更值得投入的方向。

10.2 动态、透明与重复结构

三代方法在静态、朗伯、纹理丰富的场景上都已经很好；但动态物体（行人、车辆）、透明/反光表面（玻璃、水面）、重复结构（栏杆、窗户、货架）仍然会让匹配器成片失败。这些失败不是靠更大的模型能解决的——它们需要新的数据（带动态掩码、带透明层的渲染）、新的监督（多视图一致性而非单应）、以及新的评价（按失败模式分组，而不是平均）。

10.3 三维基础模型的尺度、度量与可解释性

DUSt3R 的点图是尺度未知的：两张图的点图可以整体缩放而不改变重投影，绝对尺度需要额外的先验或传感器。MASt3R 与 VGGT 也没有完全解决度量尺度；MapAnything^[34] 等工作试图用相机内参与深度先验恢复度量，但在分布外场景仍不稳定。此外，点图回归是黑箱：当它失败时，很难判断是深度错了、位姿错了还是对应错了——这与传统 SfM 的可解释性形成鲜明对比。

10.4 效率与显存仍是结构性约束

RoMa v2 在 640² 下 30.9 对/秒，看起来不慢，但这是 A100 级别的数字；VGGT 的 1.2B 参数与整场景前向，在边缘设备上仍然不可行。稀疏方法（XFeat、ALIKED、RaCo）在 CPU 上可以实时，但精度上限受检测器限制。「精度—速度—内存」的三角在 2026 年仍然没有统一解，而真实部署（手机、无人机、AR 眼镜）恰恰要求三者同时满足。

10.5 数据的真实性、版权与可复现性

MINIMA 的 480M 对合成数据、DUSt3R 的八个数据集、VGGT 的海量视频，都把「数据从哪来」变成了核心问题。合成数据的真实性、真实数据的版权、训练集与评测集的重叠、以及论文声称的「可复现」是否真的可复现——LoMa 的训练代码在 train-dev 分支、作者注明复现尚未验证，就是一个例子。当数据成为主要竞争力时，数据审计必须成为论文评审的一部分。

10.6 匹配会被三维基础模型取代吗？

这是 2026 年最常被问的问题。我的判断是：不会，但匹配的定义会变。三维基础模型把「几何」变成了网络的输出，但下游仍然需要「这两个像素是不是同一个点」这个判断；点图最近邻可以提供它，稀疏匹配器可以提供它，稠密 warp 也可以提供它。真正会被取代的是「匹配流水线」——检测、描述、匹配、RANSAC 的四段式会被端到端几何模型吸收；而「匹配作为接口」会以更通用的形式保留下来，FlexGlue 的稀疏查询就是一个信号。

十一、结论

过去七年，图像匹配被重写了四次：学习型检测器把「在哪里找点」交给网络，稀疏匹配器把「怎么配对」变成全局约束，无检测器稠密匹配把「检测器」整个拿掉，三维基础模型把「匹配」降格为几何回归的副产品。每一次重写都不是在旧问题上做得更好，而是换了一个问题：当检测器成为瓶颈时，LoFTR 不问「怎么检测得更好」，而问「能不能不检测」；当局部窗口成为瓶颈时，DKM 不问「怎么把窗口做大」，而问「能不能用全局核回归」；当二维匹配的几何一致性难以保证时，MASt3R 不问「怎么加更强的 RANSAC」，而问「能不能把匹配当三维问题」。

这条线索也解释了 2026 年稀疏路线的回归：LoMa 与 FlexGlue 没有否定稠密与三维，而是指出「稀疏查询」这个接口仍然不可替代——它给出的轨迹、可解释性与下游兼容性，是点图与稠密 warp 不容易提供的。于是今天的格局不是「谁取代谁」，而是四种范式按接口分工：稀疏匹配做 SfM 与定位，稠密匹配做光流与拼接，三维基础模型做重建与几何先验，轻量稀疏前端做边缘部署。

如果要用一句话概括这七年：图像匹配的进步，主要不是来自把旧问题解得更好，而是来自重新定义问题。 下一个突破，大概率也会来自某个我们还没想到的「换问题」——也许是动态场景，也许是跨模态，也许是匹配与三维重建的彻底融合。

参考

1. Schönberger, Frahm. Structure-from-Motion Revisited (COLMAP). CVPR 2016. 项目页 · 代码
2. Lowe. Distinctive Image Features from Scale-Invariant Keypoints (SIFT). IJCV 2004. DOI
3. DeTone, Malisiewicz, Rabinovich. SuperPoint: Self-Supervised Interest Point Detection and Description. CVPRW 2018. arXiv · 代码
4. Dusmanu, Rocco, Pajdla, Pollefeys, Sivic, Torii, Sattler. D2-Net: A Trainable CNN for Joint Description and Detection of Local Features. CVPR 2019. arXiv · 代码
5. Revaud, Weinzaepfel, De Souza, Pion, Csurka, Cabon, Humenberger. R2D2: Repeatable and Reliable Detector and Descriptor. NeurIPS 2019. arXiv · 代码
6. Tyszkiewicz, Fua, Trulls. DISK: Learning Local Features with Policy Gradient. NeurIPS 2020. arXiv · 代码
7. Sarlin, DeTone, Malisiewicz, Rabinovich. SuperGlue: Learning Feature Matching with Graph Neural Networks. CVPR 2020. arXiv · 代码
8. Lindenberger, Sarlin, Pollefeys. LightGlue: Local Feature Matching at Light Speed. ICCV 2023. arXiv · 代码
9. Sun, Shen, Wang, Bao, Zhou. LoFTR: Detector-Free Local Feature Matching with Transformers. CVPR 2021. arXiv · 代码
10. Edstedt, Athanasiadis, Wadenbäck, Felsberg. DKM: Dense Kernelized Feature Matching for Geometry Estimation. CVPR 2023. arXiv · 代码
11. Edstedt, Sun, Bökman, Wadenbäck, Felsberg. RoMa: Robust Dense Feature Matching. CVPR 2024. arXiv · 代码
12. Wang, Leroy, Cabon, Chidlovskii, Revaud. DUSt3R: Geometric 3D Vision Made Easy. CVPR 2024. arXiv · 代码
13. Leroy, Cabon, Revaud. Grounding Image Matching in 3D with MASt3R. ECCV 2024. arXiv · 代码
14. Nordström, Edstedt, Bökman, Astermark, Heyden, Larsson, Wadenbäck, Felsberg, Kahl. LoMa: Local Feature Matching Revisited. ECCV 2026 (Oral). arXiv · 代码
15. Shenoi, Lindenberger, Sarlin, Pollefeys. RaCo: Ranking and Covariance for Practical Learned Keypoints. 3DV 2026. arXiv · 代码
16. Lindenberger, Sarlin, Miksik, Pollefeys. FlexGlue: Sparse-to-Dense Feature Matching and Visual Disambiguation. arXiv 2610.32976, 2026. arXiv · 代码
17. Mishchuk, Mishkin, Radenovic, Matas. Working Hard to Know Your Neighbor's Margins: Local Descriptor Learning Loss (HardNet). NeurIPS 2017. arXiv · 代码
18. Zhao, Wu, Miao, Chen, Chen, Li. ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction. IEEE TMM 2022. arXiv · 代码
19. Zhao, Wu, Chen, Chen, Xu, Li. ALIKED: A Lighter Keypoint and Descriptor Extraction Network via Deformable Transformation. IEEE TIM 2023. arXiv · 代码
20. Edstedt, Bökman, Wadenbäck, Felsberg. DeDoDe: Detect, Don't Describe — Describe, Don't Detect for Local Feature Matching. 3DV 2024. arXiv · 代码
21. Edstedt, Bökman, Wadenbäck, Felsberg. DaD: Distilled Reinforcement Learning for Diverse Keypoint Detection. arXiv 2503.07347, 2025. arXiv · 代码
22. Potje, Cadar, Araujo, Martins, Nascimento. XFeat: Accelerated Features for Lightweight Image Matching. CVPR 2024. arXiv · 代码
23. Edstedt, Nordström, Zhang, Bökman, et al. RoMa v2: Harder Better Faster Denser Feature Matching. ECCV 2026. arXiv · 代码
24. Tuzcuoğlu, Köksal, Sofu, Kalkan, Alatan. XoFTR: Cross-modal Feature Matching Transformer. CVPRW 2024 (IMW). arXiv · 代码
25. Ren, Jiang, Li, Liang, Zhou, Bai. MINIMA: Modality Invariant Image Matching. CVPR 2025. arXiv · 代码
26. Künzel, Hilsmann, Eisert. RIPE: Reinforcement Learning on Unlabeled Image Pairs for Robust Keypoint Extraction. ICCV 2025. arXiv
27. Wang, Chen, Karaev, Vedaldi, Rupprecht, Novotny. VGGT: Visual Geometry Grounded Transformer. CVPR 2025 (Best Paper). arXiv · 代码
28. Balntas, Lenc, Vedaldi, Mikolajczyk. HPatches: A Benchmark and Evaluation of Handcrafted and Learned Local Descriptors. CVPR 2017. arXiv · 代码
29. Li, Snavely. MegaDepth: Learning Single-View Depth Prediction from Internet Photos. CVPR 2018. arXiv
30. Dai, Chang, Savva, Halber, Funkhouser, Nießner. ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes. CVPR 2017. arXiv · 代码
31. Schöps, Schönberger, Galliani, et al. A Multi-view Stereo Benchmark with High-Resolution Images and Multi-camera Videos (ETH3D). CVPR 2017. 项目页
32. Jin, Mishkin, Mishchuk, Matas, Fua, Yi, Trulls. Image Matching across Wide Baselines: From Paper to Practice. IJCV 2021. arXiv · 代码
33. Mishkin, Matas, Perdoch, Lenc. WxBS: Wide Baseline Stereo Generalizations. BMVC 2015. arXiv
34. Keetha, Müller, Schönberger, et al. MapAnything: Universal Feed-Forward Metric 3D Reconstruction. 3DV 2026. arXiv · 代码