Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB Ergänzendes Material zum Paper "Moving Object Reconstruction in Monocular Video Data Using Boundary Generation"
Kurzfassung
Wir stellen eine Methode vor, mit der die dreidimensionale Form einer sich bewegenden Instanz einer bekannten Objektkategorie aus Videodaten rekonstruiert werden kann. Wir nutzen moderne semantische Segmentierungstechniken, um die zweidimensionale Form des Objekts in jedem Einzelbild zu extrahieren. Daher ist unsere Methode robust gegenüber Verdeckung, behandelt stationäre Objekte und erstreckt sich von selbst auch auf mehrere Videosequenzen. Wir wenden "Structure from Motion" (SfM) auf zuvor generierte Objektbilder an, um eine dreidimensionale Darstellung des Objekts zu berechnen. Unser Ansatz erlaubt es uns, Ausreißer in SfM-Rekonstruktionen zu entfernen und saubere Objektoberflächen zu berechnen, indem wir zuvor berechnete semantische Segmentierungen und virtuelle Kamerapositionen nutzen. Wir evaluieren die Genauigkeit unserer Methode anhand eines Multi-View-Datensatzes eines sich bewegenden Fahrzeugs. Ein 3D-Laserscan dient als Grundwahrheit. Wir haben unseren Algorithmus auf öffentlich zugängliche Videodaten und auf 25 Sequenzen unseres eigenen Datensatzes angewendet. Der Algorithmus erreichte einen durchschnittlichen Punktabstand von 3.3 cm, als er auf sieben im Datensatz enthaltenen Trajektorien ausgewertet wurde.
Datensatz
Der Datensatz besteht aus 25 Videos, die ein sich auf acht verschiedenen Trajektorien bewegendes Fahrzeug zeigen. Die Videosequenzen decken eine Vielzahl von Betrachtungswinkeln ab. Wir haben einen Laserscan des im Datensatz vorhandenen Fahrzeugs erstellt, der als Grundwahrheit dient. Die Laserscans wurden mit einem Zoller+Fröhlich TLS-Scanner aufgenommen. Der Abstand zum reflektierenden Objekt wird damit anhand der Phasenverschiebung zwischen empfangenem und gesendetem Signal geschätzt. Der Scankopf wurde auf einem starren Stativ betrieben, was zu Reichweitengenauigkeiten von wenigen Millimetern führt. Die Laserscans wurden automatisch registriert. Rauschen in der Messung wurde manuell entfernt.
Übersicht der Trajektorien:
|
|
|
|
|
|
|
|
Laser Scan (Ground Truth):
|
|
Beispiele für Rekonstruktionsergebnisse unter Verwendung der Randgenerierung
Spärliches Rekonstruktionsergebnis:
Resultat der Randgenerierung:
Mit Eingangsvideo überlagerte rekonstruierte Oberfläche:
S. Bullinger, C. Bodensteiner, S. Wuttke and M. Arens, "Moving Object Reconstruction in Monocular Video Data Using Boundary Generation", ICPR 2016.