University thesis:
Dissertation, Albert-Ludwigs-Universität Freiburg, 2017
Footnote:
Description:
Abstract: Alignment of images is one of the central problems in computer vision. This work focuses on alignment in general and on optical flow in particular. For the latter, we propose a combinatorial matching algorithm that improves the performance of a whole class of current state-of-the-art methods.<br>Apart from classical optical flow estimation, we introduce an alignment algorithm capable of matching different objects from different scenes. We formulate this as an energy minimization task where the energy takes similarity and motion into account and is thus a powerful distance measure. We evaluate this in terms of nearest neighbor queries and clustering tasks.<br>Furthermore, at the task of object detection, we employ these distances to partition the training data. The known alignment helps the detector to deal with the variation within the data set.<br>Switching from images to videos, we integrate cues from detection and optical flow into semantic video object segmentation. Especially the tracks of detection improve the results in many cases where motion based approaches fail, and it also gives the segmented objects a semantic meaning.<br>The thesis ends with an object detector that uses the proposed video segmentation to retrain itself
Abstract: Die Registrierung von Bildern ist eines der zentralen Probleme im Bereich Computer Vision. In dieser Arbeit betrachten wir die Registrierung im Allgemeinen und Optischen Fluss im Speziellen. Für letzteren führen wir einen kombinatorischen Matching-Algorithmus ein, der die Qualität einer ganzen Klasse von Algorithmen aus dem aktuellen Stand der Technik verbessert.<br>Desweiteren entwickeln wir einen Registrierungsalgorithmus, der verschiedene Instanzen eines Objektes aus unterschiedlichen Szenen ausrichten kann.<br>Wir formulieren die Registrierung als ein Engergieminimierungsproblem, wobei die Energiefunktion sowohl die Deformation als auch die Ähnlichkeit der Features berücksichtigt, wodurch die Energiefunktion zu einem mächtigen Abstandsmaß wird. Nearest-Neighbor-Anfragen und das Clustering von Objektklassen bestätigen die Qualität dieses Ähnlichkeitsmaßes.<br>Im Bereich der Objekterkennung, bringen wir diesen Ansatz ein, um die Trainingsdaten so zu partitionieren, dass gute Mischmodelle gelernt werden können. Die Deformationsfelder werden verwendet, um die Varianz in den Daten zu veringern, so dass saubere Modelle gelernt werden können.<br>Wir kombinieren die Hinweise, die der Optische Fluss und die Objekterkennung liefern, um die semantische Segmentierung von Objekten in Videos zu verbessern. Insbesondere die Tracking-Spuren der Objekterkennung helfen in Fällen, in denen die Bewegungsschätzung fehl schlägt, die Ergebnisse zu verbessern. Zudem bekommen die so segmentierten Objekte eine semantische<br>Bedeutung.<br>Die Arbeit endet mit einem Framework zur Objekterkennung, das die vorgestellte Videosegmentierung verwenden kann, um sich selbst weiter zu trainieren