Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB Über m3motion
Das System m3motion ist in der Lage, sich bewegende Objekte mit Kameras auf einer sich bewegenden Plattform zu erkennen und zu verfolgen (MTI - Moving Target Indicator). Insbesondere für Sicherheits- und Überwachungsaufgaben ist es sinnvoll, die Bewegungen von Personen und Objekten zu verfolgen oder Mosaikbilder zu erzeugen, um menschlichen Beobachtern eine bessere Interpretation der Situation zu ermöglichen.
Durch die kontinuierliche Schätzung der Kamerabewegung können wir den Hintergrund stabilisieren oder einfach ausblenden. Wir sind in der Lage, Videostreams oder IR-Sensoren zu nutzen. Das System läuft in Echtzeit (25Hz) auf einer Standard-PC-Hardware (>1,7GHz).
Optimale Bilderkennung bei Bewegung von Kamera und Zielobjekt(en)
Einsatzgebiete für Bilderkennungssysteme
EO-Sensoren werden in vielen sich bewegenden Sensorträgern in den Bereichen „Sicherheit" (Security) und „Überwachung" (Surveillance) zur Erfassung sich dynamisch verändernder Szenen eingesetzt:
- Hubschrauber erledigen polizeidienstliche Aufgaben und überwachen Grenzen oder erfassen sich dynamisch verändernde Szenen im Allgemeinen
- Die Bundeswehr greift in ihren weltweiten Einsatzgebieten zu Aufklärungs- und Überwachungszwecken u.a. auf unbemannte Flugkörper (Drohnen) mit bildgebenden Sensoren zurück
- Bildgebende Sensoren finden sich auch in vielen geländegängigen Landfahrzeugen
Optimale Bilderkennung in der Praxis: die Probleme
Selbst unbewegliche ortsfeste Kameras sind nicht immer erschütterungsfest. Schwankungen von Masten, Eigenbewegungen des Sensors (z.B. via Schwenk-/Neige-Einrichtung) oder des Sensorträgers, aber auch Veränderungen der Optik (Zoom) erschweren die optimale Bilderkennung.
In solchen Fällen kann der menschliche Experte die Dynamik der abgelichteten Szene nicht immer mit hinreichender Präzision und Zuverlässigkeit erfassen. Sich bewegende Zielobjekte werden übersehen oder bereits erfasste erneut aus den Augen verloren. Eigenbewegungen des Sensors (z.B. via Schwenk-/Neige-Einrichtung), des Sensorträgers oder Veränderungen der Optik (Zoom) erschweren die optimale Bilderkennung.
Unterstützung durch bisherige Bilderkennungssysteme
Eine Unterstützung des menschlichen Experten durch entsprechende Funktionalität ist wünschenswert. Bisherige Systeme sind in ihrer Leistungsfähigkeit jedoch sehr begrenzt. Entweder benötigen sie hochgenaue Angaben über die Flug- und Aufnahmeparameter sowie einzuhaltende Annahmen über die Szene (Hintergrund) o.ä., oder sie sind nur zur groben Schätzung der Relativbewegungen in der Lage.
Lösungsansatz und Einsatzbereiche
Robuste Verfahren schätzen projektive Abbildungen zwischen aufeinander folgenden Bildern einer Bildsequenz. Darauf basierend werden Differenzbilder berechnet, wobei die durch Kamerabewegung (Translation und/oder Rotation) oder Veränderung optischer Eigenschaften (Zoom) hervorgerufenen Änderungen in den Bildern kompensiert werden. Anschließend lassen sich durch ein adaptives Schwellwertverfahren solche Szenenobjekte detektieren, die sich relativ zum Hintergrund bewegen. Das adaptive Schwellwertverfahren operiert ebenfalls sehr robust und ist nahezu kontrastunabhängig.
Selbst in nicht-kooperativen Szenarien, in denen z. B. Zielpersonen unentdeckt bleiben wollen und sich durch Bekleidung und Bewegungsmuster zu verbergen suchen, agiert das System wie ein MTI-Verfahren nach dem Motto „wer sich bewegt, wird entdeckt".
Der menschliche Experte kann die Sensitivität des Systems frei einstellen. Somit entscheidet der Operator, ob er an „schnellen", „moderaten" oder „langsamen" Bewegungen potentieller Zielobjekte interessiert ist. Von diesem Parameter abgesehen ist das Verfahren jedoch parameterfrei. Beispielsweise gelingt die Detektion der bewegten Person sowie des langsam fahrenden Fahrzeugs ohne individuelle Parameterisierung. Damit ein einmal entdecktes Zielobjekt nicht aufgrund von Verdeckungen und/oder Bewegungsunterbrechungen verloren geht, ist ein Echtzeit-Multi-Target-Tracker angekoppelt. Die Anzahl gleichzeitig erfassbarer Zielobjekte hängt nur von der Leistung des Rechners ab.
Gleich drei Aufgaben können mit dieser Technologie bewältigt werden:
Objektverfolgung, Moving Target Indicator
Die folgende Filmsequenz zeigt exemplarisch die Verwendung des m³motion®-Systems zur Fahrzeug- bzw. Personenverfolgung.
Der rechte Bereich stellt jeweils die aufgenommene Szene dar, wobei zusätzlich Verschiebungsvektoren von Bild-zu-Bild in Grün eingeblendet sind, und die Trajektorie eines sich relativ zum Hintergrund bewegenden Zielobjekts in Gelb eingezeichnet ist. Der linke Bereich zeigt jeweils die aktuelle Detektion des Bewegtziels (roter Kreis).
Automatische Bildteppicherzeugung
(Bildmosaik, Panoramabilder) Das System kann auch so konfiguriert werden, dass der Objekt-Hintergrund während der Kamerabewegung nicht unterdrückt, sondern das Bild stabilisiert wird.
Die fortwährend von verschiedenen Szenenausschnitten erzeugten Bilder werden zu einem Bilderteppich zusammengefügt, welcher schritthaltend aktualisiert wird Der dadurch abgebildete größere Kontext gestattet eine verbesserte Möglichkeit zur Interpretation der Szene, sowohl durch den menschlichen Betrachter als auch durch automatische Verfahren.
Bildstabilisierung
Durch Schätzung der Eigenbewegung des Aufnahmesensors lässt sich, ebenfalls in Echtzeit und mit hoher Präzision, ein Verwackelungseffekt unterdrücken und das Bild stabilisieren. Zusätzlich kann durch Stapelung mehrerer Einzelbilder aus einer filmischen Sequenz nachträglich die Auflösung einer bestimmten Momentaufnahme verbessert werden. Man denke hier an Aufnahmen von Überwachungskameras an Bankautomaten, die mit sehr niedrigen Frame-Raten operieren.
Produktreife
Das m³motion®-System wird in Kürze in einen Bildprozessor eines Polizeihubschraubers integriert und steht vor der Einführung bei Überwachungsrobotern für private Sicherheitsdienste. Typischerweise ist m³motion® hier eine automatische Komponente in einem interaktiven System zur bildgestützten Überwachung.