Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB 
Projektziele
Wenn Assistenzroboter den Menschen im Alltag intuitiv und effektiv unterstützen sollen, dann ist eine fehlerfreie und an die Erwartungen angepasste Interaktion zwischen Mensch und Roboter essenziell. Eine verlässliche Interpretation des menschlichen Handelns inklusive des sprachlichen Kontexts ist dabei wesentlich, um eine nutzerzentrierte und intuitive Interaktion zwischen Mensch und Roboter zu ermöglichen.
In dem durch das BMBF-geförderten Projekt ASARob sollte eine fehlerfreie Aufmerksamkeitserfassung und -lenkung implementiert werden, welche die Interaktionsmöglichkeiten zwischen Mensch und Roboter erweitert. Dafür wurde untersucht, wie der Roboter über unterschiedliche Informationen (textuell, auditiv, sprachlich, räumlich und visuell) erkennen kann, worauf sich die visuelle Aufmerksamkeit des Menschen richtet. Des Weiteren musste der Roboter die Aufmerksamkeit des Menschen über dieselben Modalitäten lenken können, um z.B. auf Ablenkungen des Nutzers entsprechend reagieren zu können.
Beitrag und Methodik
Das IOSB trug im Projektverbund die kamerabasierte Nutzererfassung, multimodale Aufmerksamkeitserkennung und Aktivitätserkennung für die Roboter-Mensch-Interaktion bei. Die echtzeitfähigen Verfahren wurden während der Projektlaufzeit entwickelt und in die Gesamtarchitektur des eingesetzten Roboters integriert. Die Erkennung der Nutzeraufmerksamkeit basierte dabei auf einer robusten Erfassung der Kopfdrehung sowie Objekterfassung im Umfeld des Roboters. In Verbindung mit dem Dialogmanagementsystem des Roboters wurde ein Weltmodell erzeugt, in dem mögliche Aufmerksamkeitsziele des Nutzers stetig abgebildet und aktualisiert wurden. Durch das Nachvollziehen der Nutzerinteraktion mit einzelnen Objekten, der Kopfdrehung und Dialoggestaltung konnte die Aufmerksamkeit präzise wahrgenommen werden.
Das System wurde an die Anforderungen in häuslicher Umgebung ausgerichtet, wobei in Absprache mit zwei Geriatriezentren anwendungsnahe Evaluationskriterien erarbeitet wurden. Damit sollte es Robotern ermöglicht werden, das Verhalten, Handeln und den sprachlichen Kontext von Nutzerinnen und Nutzern sicher zu erfassen und zu interpretieren, um im Alltag sinnvoll und situationsgerecht zu helfen.