GeoWerkstatt-Projekt des Monats Februar 2021
Projekt: Schnell und zuverlässig: Mit Fotos die Umgebung in 3D rekonstruieren
Forschende: Xin Wang
Projektidee: Aus Bildern können automatisch 3D Szenen rekonstruiert werden, auch wenn sie nicht aus vorgeplanten Datenerfassungskampagnen stammen
-
Bericht auf Englisch
In close-range photogrammetry untrained users typically do not capture images in a pre-planned pattern, and even experts often need significantly more time for data acquisition when strict recording protocols must be followed. For some years, following the development of sensors, images can be accessed in a much easier way, e.g. when taken with a smart phone or downloaded from the Internet. The challenge with such images is that it is not known where they were taken from and which images actually overlap, both of which is a pre-requisite for 3D reconstruction.
In this project, we first automatically determine the image overlap based on an overlap graph and fast search algorithm running on so called a k-d- forest. Then, we solve the exterior image orientation parameters, referred to as structure from motion (SfM) problem in computer vision. While typical methods work in an incremental way, starting with two images and then adding the rest to the block sequentially, we suggest a global method, which does not need any initial values for the unknowns and is much faster. As it is known that global methods are more sensitive to blunders, we take care to find these gross errors by introducing special checks at all stages of the processing chain. In this way we are able to eliminate stereo pairs with a very short baseline, which yield imprecise results in depth, and can deal with images showing repetitive structure.
In der Nahbereichsphotogrammetrie nehmen ungeschulte Anwender normalerweise Bilder mehr oder weniger wahllos auf und selbst Experten benötigen oft deutlich mehr Zeit für die Datenerfassung, wenn sie strenge Aufnahmeprotokolle befolgen müssen. Seit der Entwicklung von Sensoren vor einigen Jahren kommt man viel einfacher an Bilder, z. B. wenn sie mit einem Smartphone aufgenommen oder aus dem Internet heruntergeladen wurden. Die Herausforderung bei solchen Bildern besteht darin, dass nicht bekannt ist, von wo aus sie aufgenommen wurden und welche Bilder sich tatsächlich überlappen - beides sind Voraussetzungen für die 3D-Rekonstruktion.
©
IPI
In diesem Projekt bestimmen wir zunächst automatisch die Bildüberlappung auf der Grundlage eines Überlappungsgraphen und eines schnellen Suchalgorithmus, der auf einem so genannten k-d-forest läuft. Dann berechnen wir die Parameter der äußeren Bildorientierung, was im Computer Vision Bereich bisweilen auch als „Structure from Motion (SfM) Problem“ bezeichnet wird. Während etablierte Methoden inkrementell arbeiten, d.h. mit zwei Bildern beginnen und dann den Rest nach und nach zu dem photogrammetrischen Block hinzufügen, schlagen wir eine globale Methode vor, die keine Anfangswerte für die Unbekannten benötigt und viel schneller ist. Da bekannt ist, dass globale Methoden anfälliger für grobe Fehler sind, achten wir darauf, diese zu finden, indem wir auf allen Stufen der Verarbeitungskette spezielle Tests einführen. Dabei sind wir auch in der Lage, Stereopaare mit einer sehr kurzen Basislinie auszuschließen, die ungenaue Ergebnisse in der Tiefe liefern, und können mit Bildern umgehen, die eine sich wiederholende Struktur aufweisen.
