Wide-Baseline Image Matching with Projective View Synthesis and Calibrated Geometric Verification

Abstract

Image matching is a fundamental task in photogrammetry and computer vision. While effective solutions exist for narrow-baseline viewing conditions, using detectors, e.g., based on differences of Gaussians (DoG) and descriptors such as scale-invariant feature transform (SIFT), it still remains a challenging problem for wide-baseline configurations. This is particularly true when dealing with UAV-based (unmanned aerial vehicle) images together with images taken from the ground. In this paper, we propose a method for wide-baseline image matching that extends the current state-of-the-art approach matching on demand with view synthesis (MODS) in such a way that even more extreme wide-baseline problems can be solved. We achieve this (1) by making use of projective transformations during view synthesis to overcome limitations induced by the approximate character of affine transformations and (2) by estimating the essential matrix within geometric verification to more robustly filter incorrect correspondences in case of a known camera calibration. We have evaluated our approach on several challenging image pairs mainly consisting of UAV-based images together with images taken from the ground and demonstrate improved performance compared to MODS.

Zusammenfassung

Bildzuordnung bei großer Basis mit projektiver Ansichtssynthese und kalibrierter geometrischer Verifikation. Bildzuordnung ist eine grundlegende Aufgabe in Photogrammetrie und Computer Vision. Während für Aufnahmebedingungen mit kleiner Basis wirksame Lösungen existieren, die Detektoren bspw. basierend auf Differenzen von Gauß-Funktionen (DoG) und Deskriptoren wie Scale-Invariant Feature Transform (SIFT) nutzen, bleibt diese Aufgabe für Konfigurationen mit großer Basis nach wie vor eine Herausforderung. Dies gilt insbesondere, wenn man sich mit UAV-basierten (Unmanned Aerial Vehicle) Bildern zusammen mit Bildern, die vom Boden aus aufgenommen wurden, beschäftigt. In diesem Beitrag schlagen wir eine Methode zur Bildzuordnung bei großer Basis vor, die den aktuellen State-of-the-Art-Ansatz Matching on Demand with View Synthesis (MODS) so erweitert, dass noch extremere Probleme mit großer Basis gelöst werden können. Wir erreichen dies (1) durch Verwendung von projektiven Transformationen während der Ansichtssynthese, um Einschränkungen zu überwinden, die durch den approximativen Charakter von affinen Transformationen verursacht werden, und (2) durch Schätzung der essentiellen Matrix innerhalb der geometrischen Verifikation, um bei bekannter Kamerakalibrierung falsche Korrespondenzen robuster zu filtern. Wir haben unseren Ansatz auf mehreren Bildpaaren mit extrem unterschiedlichen Blickrichtungen evaluiert, welche hauptsächlich aus jeweils einem UAV-basierten Bild und einem Bild, das vom Boden aus aufgenommen wurde, bestehen, und demonstrieren eine verbesserte Leistungsfähigkeit unseres Verfahrens im Vergleich zu MODS.