Personensuche

Ausgangssituation

Die wachsende Menge an verfügbaren Bild- und Videodaten öffentlicher Räume eröffnet neue Möglichkeiten in den Bereichen der Strafverfolgung und der öffentlichen Sicherheit. Allerdings gestaltet sich die manuelle Sichtung dieser Datenmengen zunehmend schwierig. Hohe Kosten für Auswertungspersonal, zeitliche Anforderungen für eine rechtzeitige Reaktion und die erforderliche hohe Konzentration beschränken die Möglichkeiten einer manuellen Auswertung.

Um die Auswertung und Navigation im Datenmaterial zu beschleunigen, kann die automatisierte Personenwiedererkennung eingesetzt werden. Diese Verfahren entscheiden anhand von zwei Personenbildern, ob es sich um dieselbe oder unterschiedliche Personen handelt. Dadurch kann nicht nur eine Suche nach Personen in großen Datenmengen umgesetzt werden, sondern beispielsweise auch die Verfolgung von Personen innerhalb eines Kameranetzwerks. Unser Forschungsschwerpunkt liegt dabei auf nicht-biometrischen Verfahren, die keine Identifizierung von Personen zulassen. Stattdessen werden soft-biometrische Informationen, wie zum Beispiel die Kleidung einer Person, für die Wiedererkennung genutzt.

Bildbasierte Personensuche

Die automatisierte, bildbasierte Personensuche zielt darauf ab, eine bestimmte Person anhand ihres Erscheinungsbilds in einer großen Menge an Bild- und Videodaten zu finden. Dabei dient ein Bild der gesuchten Person als Suchbild. Im Gegensatz zur gesichtsbasierten Suche basiert die Suche auf der Gesamterscheinung der Person. Dadurch ist selbst dann eine erfolgreiche Suche möglich, wenn das Gesicht nicht sichtbar ist oder die Bildqualität für eine Gesichtsanalyse nicht ausreicht. Da die Personensuche stark von der Kleidung einer Person beeinflusst wird, eignet sie sich insbesondere zur Erkennung von Personen innerhalb eines begrenzten Zeitraums. Gleichzeitig bietet sie einen besseren Schutz der Privatsphäre, da keine biometrischen Merkmale wie das Gesicht erfasst werden, die eine direkte Identifikation unbeteiligter Personen ermöglichen.

Attributbasierte Personensuche

Die attributbasierte Personensuche ist ein Anwendungsszenario, bei dem die Suche nicht anhand eines Beispielbildes, sondern anhand einer textuellen Beschreibung der gesuchten Person erfolgt. Dies ist oft der Fall bei Vermisstenfällen oder wenn nur eine Zeugenbeschreibung vorliegt.

Bei der attributbasierten Personensuche werden textuelle Beschreibungen in eine Menge von semantischen Attributen umgewandelt, z. B. "trägt Hut", "männlich", "blaue Jeans", "schwarzer Pullover". Diese Attribute werden dann in den Bildern durch Klassifikatoren erkannt, um eine Übereinstimmung mit der Attributbeschreibung zu ermitteln.

Ein Beispiel für die Ergebnisse dieses Verfahrens ist in Abbildung 3 dargestellt.

Herausforderungen

Die Entwicklung von Verfahren zur Personensuche wird durch verschiedene Herausforderungen erschwert, wie z.B. variierende Beleuchtung, Kamerawinkel oder Bildauflösung (siehe Abbildung 1). Das Fraunhofer IOSB arbeitet an Verfahren zur Personensuche, die mit diesen Herausforderungen umgehen können. Diese Verfahren nehmen ein Anfragebild als Eingabe und liefern eine sortierte Liste von Personenbildern als Ergebnis, die visuell ähnlich zum Anfragebild sind (siehe Abbildung 2). Die visuelle Ähnlichkeit basiert auf einem Vergleich von Bildmerkmalen, die den Kern der entwickelten Verfahren bilden.

Ausblick

Insbesondere Deep Learning-Verfahren, die diese Bildmerkmale direkt aus den Daten lernen, liefern hochwertige Suchergebnisse. Die Berechnung der Bildmerkmale kann parallel zur Aufnahme der Videodaten erfolgen, so dass zum Zeitpunkt der Suche nur der Vergleich der Merkmale erforderlich ist. Mit den am Fraunhofer IOSB entwickelten Verfahren können je nach Komplexität der Merkmale bis zu 50 Millionen Vergleiche pro Sekunde durchgeführt werden, was eine schnelle Durchsuchung großer Mengen von Videodaten ermöglicht.