Augmented Reality

Qualitätssicherung: Dokumentation von Fehlern direkt am Bauteil
© Kopfsalat Medien
Chirurgie: Unterstützung des OP-Teams während des Eingriffs
Fehlerdokumentation direkt am Bauteil
© Fraunhofer IOSB / M. Zentsch
Fahrerassistenz im Fahrzeuginnenraum

Unter Augmented Reality (AR) bzw. erweiterter Realität versteht man Technologien, die für Nutzende die Umgebung mit computergenerierten Informationen anreichern. Das kann durch Displays geschehen, wie beispielsweise Tablets oder Smartphones, die mit eingebauter Kamera eine Durchsicht nachstellen und mit Informationen überlagern, die auf dem jeweiligen Display ortsbezogen eingeblendet werden.

Modernste Varianten nutzen jedoch sogenannte Augmented Reality-Brillen bzw. AR-Brillen, deren Gläser transparente Displays darstellen, mit denen die Umgebung wahrgenommen werden kann und gleichzeitig Information ortsbezogen direkt vor den Augen angezeigt werden können. Ein aktuelles Beispiel ist die Microsofts Hololens 2.

Grundlegend beschränkt sich Augmented Reality allerdings nicht nur auf die visuelle Anreicherung, sondern kann auch akustisch oder haptisch erfolgen. Damit steht Augmented Reality AR als Sammelbegriff für alle Technologien, die die Umgebungswahrnehmung der Nutzenden um weiterführende Eindrücke erweitern können und Nutzende damit in ihrer Wahrnehmungsfähigkeit »augmentieren«.

Der Einsatz einer AR-Brille bietet sich insbesondere in Situationen an, in denen Nutzende mobil bleiben sollen, Assistenzdienste sie aber bei der Durchführung ihrer Tätigkeit bzw. Arbeit unterstützen können. Das Leistungsspektrum des Fraunhofer IOSB deckt eine Vielzahl verschiedener möglicher Anwendungsfälle ab. Beispiele finden sich in der Nutzung von AR-Brillen in Operationssälen zur Unterstützung des OP-Teams während des Eingriffs (KonsensOP). Aber auch im Einsatz von VR- und AR-Brillen für die Fahrerassistenz in PKW- und LKW-Innenräumen (Transparentes Cockpit). Oder in der Verwendung von AR-Brillen in Industrie 4.0-Anwendungen der modernen Produktion, in denen der oder die Werker bei der Durchführung der Arbeit intuitiv und effizient unterstützt wird.

 

Augmented Reality zur Qualitätssicherung und Montage

In der Qualitätssicherung werden produzierte Bauteile auf Defekte geprüft. Prüfende inspizieren das zu prüfende Bauteil, notieren entdeckte Fehler mitsamt Fehlerart, Fehlerort und Fehlergrad und entscheiden abschließend, ob das Bauteil in Ordnung ist, zur Nachbesserung weitergeleitet oder ausgesondert werden muss. Je nach Variantenvielfalt ist die Menge möglicher Fehler dabei unterschiedlich groß und die zu prüfenden Bauteilpositionen verschieden verteilt. Ergänzend gibt es Fälle, in denen nicht nur offensichtliche Fehler dokumentiert, sondern Messwerte miteinander verglichen und Abweichungen festgehalten werden müssen. Insbesondere in der Automobilproduktion spielen Biegeradien, Spaltmaße, Lackfehler und Karosserieoberflächenfehler eine bedeutende Rolle, die jeweils unterschiedlich zu handhaben sind. Soll-Werte variieren mit sich ändernden Fahrzeugmodellen und Sondermodelle treten in einer Seltenheit auf, die in der Regel ein Nachschlagen erlaubter Abweichungen nötig macht.

Augmented Reality bietet hier den großen Vorteil, dass der oder die Nutzer in alle notwendigen Informationen automatisch und ortsbezogen vor den Augen angezeigt bekommen kann. Das spart zusätzliche Laufwege sowie zeitintensives Nachschlagen entsprechender Vorgaben. Weil moderne AR-Brillen dazu dank intuitiver Gesteneingabe leicht und schnell zu bedienen sind, kann die Fehlerdokumentation kostengünstig und effizient während des Prüfvorgangs durchgeführt werden.

Beispielanwendung: Augmented Reality zur Auditierung von Fahrzeugkarossen

Die Auditierung von großen Bauteilen, wie z.B. Fahrzeugkarossen verlangt einen großen Bewegungsradius und weitreichende Flexibilität des Prüfers. Um das zu erreichen, wird er häufig mit Handheldgeräten, wie z.B. Tablets o.a., ausgestattet, mit denen er um die Karosse laufen und eine vorgeschriebene Reihenfolge an zu prüfenden Punkten abarbeitet und dokumentiert. Die Nachteile eines handgetragenen Displays sind vielfältig: Der Prüfer hat seine Hände nicht zur eigentlichen Prüfung frei. Die Fehlerdokumentation erfolgt nicht direkt am Bauteil, sondern ungenau auf einer stark verkleinerten Repräsentation des Bauteils auf dem Display. Zudem muss der Nutzer vorgegebene Fehlerpunkte, die ihm auf dem Display dargestellt werden, auf die Karosse übertragen. Und werden zur Prüfung weitergehende Informationen benötigt, wie z.B. tolerierbare Spaltmaße oder Biegeradien, muss der Prüfer die Werte auswendig wissen oder in dem von ihm in der Hand getragenen Assistenzsystem laden und anzeigen lassen. Eine Augmented Reality-Brille, wie z.B. Microsofts Hololens 2 , ermöglicht dem Prüfer größtmögliche Freiheit in der Durchführung seiner Arbeit. Er kann sich frei um die Karosse bewegen und mit intuitiven Zeigegesten und Sprachkommandos Fehlerstellen direkt an der Karosse dokumentieren.

Damit die Brille ortsbezogene Informationen anzeigen kann,
wird das Fahrzeug aus Sicht der Brille automatisch lokalisiert. So weiß das zugrunde liegende Assistenzsystem jederzeit, wo sich welches Bauteil befindet und kann bei Blick darauf automatisch weiterführende Informationen, wie genannte Spaltmaße, einblenden.

 

Beispielanwendung: Projektor-basierte Augmented Reality zur Fehlerdokumentation an Bauteilen

Nicht immer ist es möglich, dass Nutzer über einen länger andauernden Zeitraum AR-Brillen tragen können oder wollen. Eine Alternative zur AR-Brille ist es, mit einem Projektor in die Arbeitsumgebung des Nutzers Bedienschnittstellen darzustellen. Dazu muss der Projektor im Arbeitsraum kalibriert werden und die Lage und Orientierung aller relevanten Objekte müssen dem Assistenzsystem relativ zum Projektor bekannt sein. Auf diese Weise kann geschlussfolgert werden, welche Bereiche im 2D-Bild des Projektors auf welche Objektflächen abgebildet werden und wie darzustellende Informationen wie verzerrt werden müssen, um eine möglichst natürliche Darstellung zu bewirken. Im Fall einer Fehlerdokumentation an stationär liegenden Bauteilen kann auf diese Weise eine senkrechte Projektion von oben erreicht und dem Prüfer so eine intuitive Bedienoberfläche direkt auf dem Bauteil angezeigt werden.

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Durch eine ergänzende Sprach- und kamerabasierte Gestenerkennung kann der Nutzer ohne kopfgetragene Brille ganz natürlich mit dem System interagieren und auf die gleiche Weise wie mit einer AR-Brille effizient agieren.

 

 

Beispielanwendung: Augmented Reality zur Wartung von Fabrikanlagen

Fabrikanlagen bestehen aus einer Vielzahl verschiedener komplexer Komponenten. Die zunehmende Digitalisierung führt dazu, dass die Funktionszustände der Anlagen abgerufen und bearbeitet werden können. Oft erfolgt das aber an nahegelegenen Arbeitsstationen, die eine nur abstrakte Übersicht der Komponenten erlauben bzw. auf dem 2D-Monitor Informationen zusammenfassen.

Mit einer AR-Brille wie Microsofts Hololens 2 ausgestattet kann ein Werker die einzelnen Komponenten einer Anlage inspizieren und dreidimensional Informationen zu den jeweiligen Zuständen visualisiert bekommen. Durch die ortsbezogene und dreidimensionale Assistenz bekommt ein Werker einen intuitiven Eindruck der Funktionsweise und -tauglichkeit der Anlage und kann schnell und zielgerichtet eingreifen.

 

 

 

 

 

 

 



Publikationen

 

Sie möchten mehr über die Möglichkeiten von Augemted Reality wissen? Wir können Ihnen dabei weiterhelfen.

 

Abteilung Human-AI Interaction des Fraunhofer IOSB

Sie wollen mehr über unsere Projekte und Produkte erfahren? Dann besuchen Sie die Seite unserer Abteilung.