RealCat

· updated Jan 27, 2025 · 41 min read

笔记：CVPR 2020 图像匹配挑战赛，新数据集+新评测方法，SOTA 正瑟瑟发抖！

从一系列的图像中恢复物体的 3D 结构是计算机视觉研究中一个热门课题，这使得我们可以相隔万里从 Google Map 中看到复活节岛的风景。这得益于图像来自于可控的条件，使得最终的重建效果一致性且质量都很高，但是这却限制了采集设备以及视角。畅想一下，假如我们不使用专业设备，而是利用 SfM 技术根据互联网上大量的图片重建出这个复杂世界。

为了加快这个领域的研究，更好地利用图像数据有效信息，谷歌联合 UVIC、CTU 以及 EPFL 发表了这篇文章 “Image Matching across Wide Baselines: From Paper to Practice”，[PDF]，旨在公布一种新的衡量用于 3D 重建方法的标准模块+数据集，这里主要是指 2D 图像间的匹配。这个评价模块可以很方便地集成并评估现有流行的特征匹配算法，包括传统方法或者基于机器学习的方法。

谷歌公布 2020 图像匹配挑战的数据集：官网，博客，文末有排行榜。

前言

图像特征匹配是计算机视觉的基础+核心问题之一，包括 image retrieval 1 2 3 4 5、3D reconstruction 6 7 8 9、re-localization 10 11 12 以及 SLAM 13 14 15 等在内的诸多研究领域都会用到特征匹配。这个问题已经研究了几十年，但仍未被很好地解决。特征匹配面临的问题很多，主要包括以下挑战：视角，尺度，旋转，光照，遮挡以及相机渲染等。

近些年来，研究者开始将视线转移到端到端的学习方法（图像->位姿），但是这些方法甚至没有达到传统的方法（图像->匹配->BA 优化）的性能。我们可以看到，传统的方法将 3D 重建问题拆分成为 2 个子问题：特征匹配与位姿解算。解决每个子问题的新方法，诸如特征匹配/位姿解算，都使用了“临时指标”，但是单独地评价单个子问题的性能不足以说明整体性能。例如，一些研究仅在某个数据集上展现了相较于手工特征 SIFT 的优势，但是这些算法是否能够在真实应用中仍然展现出优势呢？我们通过后续实验说明传统算法经过调整之后也可匹敌现有的标称“sota”的算法（着实打脸）。

是时候换一种方式进行评价了，本文不去过多关注在临时指标上的表现，而关注在下游任务上的表现。本文贡献：

  1. 30k 图像+深度图+真实位姿（posed image）
  2. 模块化流水线处理流程，结合了数十种经典的和最新的特征提取和匹配以及姿态估计方法，以及多种启发式方法，可以分别交换和调整
  3. 两个下游任务，双目/多视角重建
  4. 全面研究了手工特征以及学习特征数十种方法和技术，以及它们的结合以及超参数选择的过程

相关工作

局部特征

在引入 SIFT 特征之后，局部特征变成了主流。它的处理流程主要分为几个步骤：特征提取，旋转估计，描述子提取。除了 SIFT，手工特征还有 SURF 16、ORB 17 以及 AKAZE 18 等。

现代描述子通常在 SIFT 关键点（即 DoG）的预裁剪图像块上训练深度网络，其中包括：Deepdesc 19、TFeat 20、L2-Net 21、Hardnet 22、SOSNet 23 以及 LogPolarDesc 24（它们中绝大多数都是在同一个数据集上进行的训练）。

最近有一些工作利用了其它线索，诸如几何或全局上下文信息进行训练，其中包括 GeoDesc 25 以及 ContextDesc 26。

另外还有一些方法将特征点以及描述子进行单独训练，例如 TILDE 27、TCDet 28、QuadNet 29 以及 Key.Net 30。当前还有一些算法将二者联合起来训练，例如 LIFT 31、DELF 5、SuperPoint 15、LF-Net 32、D2-Net 33、R2D2 34。

鲁棒匹配

大基线的双目匹配的外点内点率可低至 10%，甚至更低。要做匹配的话需要从中选择出能够解算出位姿的算法。常用的方式包括基于随机一致采样 RANSAC 的 5-35、7-36、8-point 37 算法。它的改进算法包括 local optimization 38、MLESAC 39、PROSAC 40、DEGENSAC 41、GC-RANSAC 42、MAGSAC 43、CNe (Context Networks) 44+RANSAC，同样还有 45 46 47 48。作者最后加了一句“Despite their promise, it remains unclear how well they perform in real settings”（质疑中，哈哈）。

运动恢复结构（SfM）

方法 6 7 49 50 9，最流行的包括 VisualSFM 51 以及 COLMAP 8（作为真值）。

数据集和标准

以前的特征匹配数据集如下：

  • Oxford dataset 52，48 张图像+真值单应矩阵
  • HPatches 53，696 张光照以及视角变化，无遮挡平面图像
  • DTU 54、Edge Foci 55、Webcam 27、AMOS 56 以及 Strecha’s 57

上述数据集都有其限制：窄基线，真值噪声大，图像数量少。基于学习的描述子通常在 58 上进行训练，它们之所以比 SIFT 好的原因可能在于过拟合了（作者看到会不会脸红）。另外，用于导航/重定位以及 SLAM 的数据集包括 KITTI 59、Aachen 60、RobotCar 61 以及 CMU Seasons 11 62，但并不包含 Phototourism 数据中的多种变换。

Phototourism 数据集

上述数据集这么“烂”，于是作者搞出了他们心目中最好的公开数据集——Phototourism 数据集。作者从 7 63 中选择的 25 个受欢迎的地标集合（共 30k）为基础，每个地标都有成百上千的图像。论文中，作者从中选择出 11 个场景，其中 9 个测试集和 2 个验证集做实验。将它们缩减为最大尺寸为 1024 像素，并使用 COLMAP 8 对其进行求解位姿以及点云和深度，通过建立好的模型去除遮挡物。

具体地，如下 2 个表格所示：

处理流程图 Pipeline

流程如上图，蓝色框就是要进行的几个处理，分别介绍一下。

特征提取

作者选择了 3 大类特征：

  1. 完全手工特征：SIFT 1（以及 RootSIFT 64）、SURF 16、ORB 17、AKAZE 18、FREAK 55 描述子+BRISK 65 特征点，使用 OpenCV 的实现，除了 ORB 特征，降低特征提取阈值以多提取一些特征；除此之外，也考虑 VLFeat 66 中 DoG 的一些变种：(VL-)DoG、Hessian 67、Hessian-Laplace 68、Harris-Laplace 68、MSER 69；以及它们的仿射变种：DoG-Affine、Hessian-Affine 68 70、DoG-AffNet 71、Hessian-AffNet 71
  2. 描述子从 DoG 特征学习得到的特征：L2-Net 21、Hardnet 22、Geodesc 25、SOSNet 23、ContextDesc 26、LogPolarDesc 24
  3. 端到端学习来的特征：Superpoint 15、LF-Net 32 以及 D2-Net 33，以及它们的多尺度变种：single- (SS) 以及 multi-scale (MS)

特征匹配

此处用的是最近邻。

外点滤除

Context Networks 44+RANSAC 44 47，简称 CNe，效果如下：

Stereo task

给定图像 以及：

解算基础矩阵：

除了现有的 OpenCV72 以及 sklearn73 中实现的 RANSAC 74 75，作者也用到了 DEGENSAC 41、GC-RANSAC 42 以及 MAGSAC 43。最后通过 OpenCV 的 recoverPose 函数解算位姿。

Multi-view task

由于是评价特征的好坏而不是 SfM 算法，作者从几个大场景中随机选择出图片构成几个小的数据集，称为“bags”。其中包含 3/5 张图像的各有 100 bags，10 张图像的各有 50 bags，25 张图像的各有 25 bags，总共 275 个 bags。将外点滤除后的结果送入 COLMAP 8 作为输入进行 SfM 重建。

误差指标

  1. mAA (mean Average Accuracy)：Stereo task/Multi-view task
  2. ATE (Absolute Trajectory Error)：Multi-view task

实验开始——配置细节很重要

首先比较了 RANSAC 在不同参数配置（置信度，极线对齐误差阈值以及最大迭代次数）下的表现：

总体来说，MAGSAC 表现最好，DEGENSAC 表现次之。另外，作者提到“default settings can be woefully inadequate. For example, OpenCV sets τ = 0.99 and η = 3 pixels, which results in a mAP at 10o of 0.5292 on the validation set – a performance drop of 23.9% relative.”所以在日常使用 OpenCV 的 RANSAC 函数时需要自己调整下参数。

作者认为 RANSAC 的内点阈值对于每种局部特征也是不同的，作者做了如下实验。

Figure 5. RANSAC – Inlier threshold \eta

上图可以直观看到从 DoG 学习的特征都聚集在了一起，其它特征比较分散，这也是太难选择了，于是作者使用了其他论文作者推荐的配置参数或者一些合理的参数作为内点阈值。

结果

作者列出了很多结果以及结论，我们仅去关注几个感兴趣的。

8k 特征

大家期待已久的真的 sota 到底是谁呢？作者在以上特征的超参调整到最优后进行了实验，测试结果如下：

  1. mAA 指标上 DoG 特征点占据了 Top 的位置，其中 SOSNet 排名 #1，紧随其后的是 HardNet。
  2. ‘HardNetAmos+’ 76，它在更多的数据（Brown 77、HPatches 53、AMOS 56）上进行了训练，但是效果却比不上在 Brown 的‘Liberty’上训练模型的效果。
  3. multi-view 任务中，DoG+HardNet 表现属于 top 水平，略优于 ContextDesc、SOSNet、LogpolarDesc；
  4. R2D2 是表现最好的端到端方法，同样在 multi-view 任务中表现较好（#6），但是在 stereo 任务中不如 SIFT；
  5. D2-net 表现并不太好，可能由于图像下采样造成了较差的定位误差；
  6. 适当调整参数后的 SIFT 尤其是 RootSIFT 能够在 stereo 任务中排名 #9，multi-view 任务中排名 #9，与所谓 sota 相差 13.1% 以及 4.9%。（真为咱传统特征争气！）

2k 特征

这样做的理由是能够与 LF-Net 与 Superpoint 进行比较，结果如下图：

结论：

  1. Key.Net+HardNet 获得最好的表现，第二名是 LogPolarDesc；
  2. R2D2 在 stereo 任务中排名 #2，multi-view 任务中排名 #7

8k vs. 2k

结论：

  1. 基于 DoG 的方法容易受益于多个特征，而学习的方法受益于重新训练（该结论来自于 Key.Net+Hardnet 的组合，作者进行了重新训练，表现优异）
  2. 整体来说基于学习的特征 KeyNet、SuperPoint、R2D2、LF-Net 在 multi-view 任务配置下比 stereo 任务配置下表现更好；（作者的假设是它们的鲁棒性好，但定位精度低）

光照变化

作者用了直方图均衡化（CLAHE 78）去调整图像光度，结果如上图，可以看到几乎所有的基于学习的方法的测试效果都下降了，这可能由于没有专门地在这种场景中进行训练。而 SIFT 也没有得到明显提升，可能在于 SIFT 描述子是在某些假设条件下最佳表现。

新指标 vs. 传统指标

这里要说明的是传统的评价方式与本文提出方式的关系。

  1. matching score 的选择还是比较明智的，它似乎与 mAA 相关，但也很难保证高的匹配得分就一定有助于提升 mAA，例如 RootSIFT vs ContextDesc；
  2. repeatability 则比较难去诠释它对最后位姿解算的效果。AKAZE 的 repeatability 最好但是 matching score 和 pose mAA 都非常差，作者的原话（arXiv 版本 1）就是 descriptor may hurt its performance。
  3. Key.Net 获得最好的 repeatability，但是在 mAA 指标上弱于 DoG 的方法，即使使用了相同的描述子 HardNet；

注意，以上结果都是论文发布在 arXiv 平台时给出的结果，最新结果参考这个官网排行榜。

由于目前正在使用 SuperPoint 特征（SuperPoint (2k features, NMS=4)，DEGENSAC），所以比较关注它的表现。感觉在 2k 特征阵营，它的表现并不好（屈居 #35，目前共 52 个算法），然而 SuperPoint + SuperGlue + DEGENSAC 以及 SuperPoint+GIFT+Graph Motion Coherence Network+DEGENSAC 分别位列 #1 以及 #2，这也是结果很让人欣慰！

Footnotes

  1. David G. Lowe. Distinctive Image Features from ScaleInvariant Keypoints. IJCV, 20(2):91–110, November 2004. 1, 2, 3, 4, 6, 8, 15 ↩ ↩2

  2. Relja Arandjelovic, Petr Gronat, Akihiko Torii, Tomas Pajdla, and Josef Sivic. NetVLAD: CNN Architecture for Weakly Supervised Place Recognition. In CVPR, 2016. 1 ↩

  3. Filip Radenovic, Georgios Tolias, and Ondra Chum. CNN image retrieval learns from BoW: Unsupervised fine-tuning with hard examples. In ECCV, 2016. 1 ↩

  4. Giorgos Tolias, Yannis Avrithis, and Herv´e J´egou. Image Search with Selective Match Kernels: Aggregation Across Single and Multiple Images. IJCV, 116(3):247–261, Feb 2016. 1 ↩

  5. Hyeonwoo Noh, Andre Araujo, Jack Sim, and Tobias Weyanda nd Bohyung Han. Large-Scale Image Retrieval with Attentive Deep Local Features. In ICCV, 2017. 1, 2 ↩ ↩2

  6. S. Agarwal, N. Snavely, I. Simon, S.M. Seitz, and R. Szeliski. Building Rome in One Day. In ICCV, 2009. 1, 2 ↩ ↩2

  7. J. Heinly, J.L. Schoenberger, E. Dunn, and J-M. Frahm. Reconstructing the World in Six Days. In CVPR, 2015. 1, 2, 3 ↩ ↩2 ↩3

  8. J.L. Sch¨onberger and J.M. Frahm. Structure-From-Motion Revisited. In CVPR, 2016. 1, 2, 3, 4, 6 ↩ ↩2 ↩3 ↩4

  9. Siyu Zhu, Runze Zhang, Lei Zhou, Tianwei Shen, Tian Fang, Ping Tan, and Long Quan. Very Large-Scale Global SfM by Distributed Motion Averaging. In CVPR, June 2018. 1, 2 ↩ ↩2

  10. Torsten Sattler, Bastian Leibe, and Leif Kobbelt. Improving Image-Based Localization by Active Correspondence Search. In ECCV, 2012. 1 ↩

  11. T. Sattler, W. Maddern, C. Toft, A. Torii, L. Hammarstrand, E. Stenborg, D. Safari, M. Okutomi, M. Pollefeys, J. Sivic, F. Kahl, and T. Pajdla. Benchmarking 6DOF Outdoor Visual Localization in Changing Conditions. In CVPR, 2018. 1, 2 ↩ ↩2

  12. Simon Lynen, Bernhard Zeisl, Dror Aiger, Michael Bosse, Joel Hesch, Marc Pollefeys, Roland Siegwart, and Torsten Sattler. Large-scale, real-time visual-inertial localization revisited. arXiv Preprint, 2019. 1 ↩

  13. R. Mur-Artal, J. Montiel, and J. Tardos. Orb-Slam: A Versatile and Accurate Monocular Slam System. IEEE Transactions on Robotics, 31(5):1147–1163, 2015. 1 ↩

  14. D. Detone, T. Malisiewicz, and A. Rabinovich. Toward Geometric Deep SLAM. arXiv preprint arXiv:1707.07410, 2017. 1 ↩

  15. D. Detone, T. Malisiewicz, and A. Rabinovich. Superpoint: Self-Supervised Interest Point Detection and Description. CVPR Workshop on Deep Learning for Visual SLAM, 2018. 1, 2, 3, 8 ↩ ↩2 ↩3

  16. H. Bay, T. Tuytelaars, and L. Van Gool. SURF: Speeded Up Robust Features. In ECCV, 2006. 2, 3 ↩ ↩2

  17. E. Rublee, V. Rabaud, K. Konolidge, and G. Bradski. ORB: An Efficient Alternative to SIFT or SURF. In ICCV, 2011. 2, 3, 6 ↩ ↩2

  18. P. F. Alcantarilla, J. Nuevo, and A. Bartoli. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces. In BMVC, 2013. 2, 3 ↩ ↩2

  19. E. Simo-serra, E. Trulls, L. Ferraz, I. Kokkinos, P. Fua, and F. Moreno-Noguer. Discriminative Learning of Deep Convolutional Feature Point Descriptors. In ICCV, 2015. 2 ↩

  20. V. Balntas, E. Riba, D. Ponsa, and K. Mikolajczyk. Learning Local Feature Descriptors with Triplets and Shallow Convolutional Neural Networks. In BMVC, 2016. 2 ↩

  21. Y. Tian, B. Fan, and F. Wu. L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space. In CVPR, 2017. 2, 3 ↩ ↩2

  22. A. Mishchuk, D. Mishkin, F. Radenovic, and J. Matas. Working Hard to Know Your Neighbor’s Margins: Local Descriptor Learning Loss. In NeurIPS, 2017. 2, 3, 6 ↩ ↩2

  23. Yurun Tian, Xin Yu, Bin Fan, Fuchao Wu, Huub Heijnen, and Vassileios Balntas. SOSNet: Second Order Similarity Regularization for Local Descriptor Learning. In CVPR, 2019. 1, 2, 3 ↩ ↩2

  24. Patrick Ebel, Anastasiia Mishchuk, Kwang Moo Yi, Pascal Fua, and Eduard Trulls. Beyond Cartesian Representations for Local Descriptors. In ICCV, 2019. 2, 3, 6 ↩ ↩2

  25. Z. Luo, T. Shen, L. Zhou, S. Zhu, R. Zhang, Y. Yao, T. Fang, and L. Quan. Geodesc: Learning Local Descriptors by Integrating Geometry Constraints. In ECCV, 2018. 2, 3 ↩ ↩2

  26. Zixin Luo, Tianwei Shen, Lei Zhou, Jiahui Zhang, Yao Yao, Shiwei Li, Tian Fang, and Long Quan. ContextDesc: Local Descriptor Augmentation with Cross-Modality Context. In CVPR, 2019. 2, 3 ↩ ↩2

  27. Y. Verdie, K. M. Yi, P. Fua, and V. Lepetit. TILDE: A Temporally Invariant Learned DEtector. In CVPR, 2015. 2 ↩ ↩2

  28. Xu Zhang, Felix X. Yu, Svebor Karaman, and Shih-Fu Chang. Learning Discriminative and Transformation Covariant Local Feature Detectors. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017. 2 ↩

  29. N. Savinov, A. Seki, L. Ladicky, T. Sattler, and M. Pollefeys. Quad-Networks: Unsupervised Learning to Rank for Interest Point Detection. CVPR, 2017. 2 ↩

  30. Axel Barroso-Laguna, Edgar Riba, Daniel Ponsa, and Krystian Mikolajczyk. Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision, 2019. 2, 3 ↩

  31. Kwang Moo Yi, Eduard Trulls, Vincent Lepetit, and Pascal Fua. LIFT: Learned Invariant Feature Transform. In ECCV, 2016. 2 ↩

  32. Yuki Ono, Eduard Trulls, Pascal Fua, and Kwang Moo Yi. LF-Net: Learning Local Features from Images. In NeurIPS, 2018. 2, 3 ↩ ↩2

  33. M. Dusmanu, I. Rocco, T. Pajdla, M. Pollefeys, J. Sivic, A. Torii, and T. Sattler. D2-Net: A Trainable CNN for Joint Detection and Description of Local Features. In CVPR, 2019. 1, 2, 3, 8 ↩ ↩2

  34. J´erˆome Revaud, Philippe Weinzaepfel, C´esar Roberto de Souza, Noe Pion, Gabriela Csurka, Yohann Cabon, and Martin Humenberger. R2D2: Repeatable and Reliable Detector and Descriptor. In NeurIPS, 2019. 2 ↩

  35. D. Nister. An Efficient Solution to the Five-Point Relative Pose Problem. In CVPR, June 2003. 2 ↩

  36. R. I. Hartley. Projective reconstruction and invariants from multiple images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(10):1036–1041, Oct 1994. 1, 2 ↩

  37. R.I. Hartley. In Defense of the Eight-Point Algorithm. PAMI, 19(6):580–593, June 1997. 2 ↩

  38. Ondˇrej Chum, Jiˇr´ı Matas, and Josef Kittler. Locally Optimized RANSAC. In PR, 2003. 2 ↩

  39. P.H.S. Torr and A. Zisserman. MLESAC: A New Robust Estimator with Application to Estimating Image Geometry. CVIU, 78:138–156, 2000. 2 ↩

  40. Ondˇrej Chum and Jiˇr´ı Matas. Matching with PROSAC Progressive Sample Consensus. In CVPR, pages 220–226, June 2005. 2 ↩

  41. Ondrej Chum, Tomas Werner, and Jiri Matas. Two-View Geometry Estimation Unaffected by a Dominant Plane. In CVPR, 2005. 2, 4 ↩ ↩2

  42. Daniel Barath and Ji Matas. Graph-cut ransac. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018. 2, 4 ↩ ↩2

  43. Jana Noskova Daniel Barath, Jiri Matas. MAGSAC: marginalizing sample consensus. In CVPR, 2019. 1, 2, 4 ↩ ↩2

  44. K. M. Yi, E. Trulls, Y. Ono, V. Lepetit, M. Salzmann, and P. Fua. Learning to Find Good Correspondences. In CVPR, 2018. 2, 3, 4, 7, 13, 17 ↩ ↩2 ↩3

  45. R. Ranftl and V. Koltun. Deep Fundamental Matrix Estimation. In ECCV, 2018. 2, 4 ↩

  46. Chen Zhao, Zhiguo Cao, Chi Li, Xin Li, and Jiaqi Yang. NM-Net: Mining Reliable Neighbors for Robust Feature Correspondences. In CVPR, 2019. 2, 4 ↩

  47. Weiwei Sun, Wei Jiang, Eduard Trulls, Andrea Tagliasacchi, and Kwang Moo Yi. Attentive Context Normalization for Robust Permutation-Equivariant Learning. In arXiv Preprint, 2019. 2, 4, 8 ↩ ↩2

  48. Jiahui Zhang, Dawei Sun, Zixin Luo, Anbang Yao, Lei Zhou, Tianwei Shen, Yurong Chen, Long Quan, and Hongen Liao. Learning Two-View Correspondences and Geometry Using Order-Aware Network. ICCV, 2019. 2, 3, 4 ↩

  49. Hainan Cui, Xiang Gao, Shuhan Shen, and Zhanyi Hu. Hsfm: Hybrid structure-from-motion. In CVPR, July 2017. 2 ↩

  50. P. Gay, V. Bansal, C. Rubino, and A. D. Bue. Probabilistic Structure from Motion with Objects (PSfMO). In ICCV, 2017. 2 ↩

  51. Changchang Wu. Towards Linear-Time Incremental Structure from Motion. In 3DV, 2013. 2, 6 ↩

  52. K. Mikolajczyk and C. Schmid. A Performance Evaluation of Local Descriptors. PAMI, 27(10):1615–1630, 2004. 2 ↩

  53. V. Balntas, K. Lenc, A. Vedaldi, and K. Mikolajczyk. HPatches: A Benchmark and Evaluation of Handcrafted and Learned Local Descriptors. In CVPR, 2017. 2, 7 ↩ ↩2

  54. H. Aanaes, A. L. Dahl, and K. Steenstrup Pedersen. Interesting Interest Points. IJCV, 97:18–35, 2012. 2 ↩

  55. C.L. Zitnick and K. Ramnath. Edge Foci Interest Points. In ICCV, 2011. 2 ↩ ↩2

  56. M. Pultar, D. Mishkin, and J. Matas. Leveraging Outdoor Webcams for Local Descriptor Learning. In Computer Vision Winter Workshop, 2019. 2, 7 ↩ ↩2

  57. C. Strecha, W.V. Hansen, L. Van Gool, P. Fua, and U. Thoennessen. On Benchmarking Camera Calibration and Multi-View Stereo for High Resolution Imagery. In CVPR, 2008. 2 ↩

  58. M. Brown and D. Lowe. Automatic Panoramic Image Stitching Using Invariant Features. IJCV, 74:59–73, 2007. 2 ↩

  59. Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. In CVPR, 2012. 2 ↩

  60. Torsten Sattler, Tobias Weyand, Bastian Leibe, and Leif Kobbelt. Image Retrieval for Image-Based Localization Revisited. In BMVC, 2012. 2 ↩

  61. Will Maddern, Geoffrey Pascoe, Chris Linegar, and Paul Newman. 1 year, 1000 km: The Oxford RobotCar dataset. IJRR, 36(1):3–15, 2017. 2 ↩

  62. Hernan Badino, Daniel Huber, and Takeo Kanade. The CMU Visual Localization Data Set. http://3dvis. ri.cmu.edu/data-sets/localization, 2011. 2 ↩

  63. B. Thomee, D.A. Shamma, G. Friedland, B. Elizalde, K. Ni, D. Poland, D. Borth, and L. Li. YFCC100M: the New Data in Multimedia Research. In CACM, 2016. 3 ↩

  64. Relja Arandjelovic. Three things everyone should know to improve object retrieval. In CVPR, 2012. 3 ↩

  65. A. Alahi, R. Ortiz, and P. Vandergheynst. FREAK: Fast Retina Keypoint. In CVPR, 2012. 7, 11 ↩

  66. Andrea Vedaldi and Brian Fulkerson. Vlfeat: An open and portable library of computer vision algorithms. In Proceedings of the 18th ACM International Conference on Multimedia, MM ’10, pages 1469–1472, 2010. 3 ↩

  67. P. R. Beaudet. Rotationally invariant image operators. In Proceedings of the 4th International Joint Conference on Pattern Recognition, pages 579–583, Kyoto, Japan, Nov. 1978. 3, 6 ↩

  68. K. Mikolajczyk, C. Schmid, and A. Zisserman. Human Detection Based on a Probabilistic Assembly of Robust Part Detectors. In ECCV, pages 69–82, 2004. 3, 6 ↩ ↩2 ↩3

  69. J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust WideBaseline Stereo from Maximally Stable Extremal Regions. IVC, 22(10):761–767, 2004. 3, 6 ↩

  70. A. Baumberg. Reliable Feature Matching Across Widely Separated Views. In CVPR, pages 774–781, 2000. 3, 6 ↩

  71. D. Mishkin, F. Radenovic, and J. Matas. Repeatability is Not Enough: Learning Affine Regions via Discriminability. In ECCV, 2018. 3, 6 ↩ ↩2

  72. G. Bradski. The OpenCV Library. Dr. Dobb’s Journal of Software Tools, 2000. 4 ↩

  73. F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12:2825–2830, 2011. 4 ↩

  74. M.A Fischler and R.C. Bolles. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Communications ACM, 24(6):381–395, 1981. 1, 2, 4 ↩

  75. Ondˇrej Chum, Jiˇr´ı Matas, and Josef Kittler. Locally optimized ransac. In Pattern Recognition, 2003. 4 ↩

  76. Jiri Matas Milan Pultar, Dmytro Mishkin. Leveraging Outdoor Webcams for Local Descriptor Learning. In Proceedings of CVWW 2019, 2019. 7 ↩

  77. M. Brown, G. Hua, and S. Winder. Discriminative Learning of Local Image Descriptors. PAMI, 2011. 1, 2, 7 ↩

  78. Stephen M. Pizer, E. Philip Amburn, John D. Austin, Robert Cromartie, Ari Geselowitz, Trey Greer, Bart ter Haar Romeny, John B. Zimmerman, and Karel Zuiderveld. Adaptive histogram equalization and its variations. Computer vision, graphics, and image processing, 1987. 15 ↩

Comments