Automatisiertes Fahren & Incabin AI: ­Automotive-Themen am Fraunhofer IOSB

Zukunftstechnologien gerade im Bereich Automobil und Mobilität sind zunehmend in breiten Spannungsfeldern angesiedelt. Sie verbinden Menschen mit technischen Systemen, darunter Maschinenbau, Elektronik, Digitalisierung und KI. Ihr Erfolg am Markt wird bestimmt durch Akzeptanz, rechtliche Gegebenheiten, technische Leistungsfähigkeit, und Kosten für Entwicklung und Betrieb.

Auftragsforschung ermöglicht Unternehmen, von aktuellen Entwicklungen und Trends zu profitieren – von einer frühen Einschätzung, welche Technologien relevant sind, und welche Innovationen zukunftsweisende Potentiale bergen, bis hin zur kompetenten Entwicklung und Erprobung. Dabei steht für uns im Vordergrund, Auftraggebern schnelle und zuverlässige Orientierung in einem komplexen Umfeld zu bieten, und konkret anwendbare Lösungen zu liefern. Diese Lösungen sind auf die jeweiligen Bedarfe zugeschnitten, und können so den direkten Weg in den Praxiseinsatz finden.

Dabei hilft uns neben jahrzehntelanger Erfahrung in der Branche auch eine hervorragende Forschungsinfrastruktur, und ein starkes Netzwerk an Partnern. Das Fraunhofer IOSB betreibt derzeit drei Versuchsfahrzeuge für automatisiertes und vernetztes Fahren, die für den Verkehrsbetrieb zugelassen sind, sowie mehrere Fahrsimulatoren und Prüfeinrichtungen. Auf diesen lassen sich niederschwellig experimentelle Technologien erproben und in der Praxis umsetzen.

Als Partner des Testfelds Autonomes Fahren Baden-Württemberg und Betreiber von Plattformen und Methoden zur Verkehrsdatenerhebung und Kartierung im öffentlichen Raum, stellen wir einerseits eine wesentliche Datengrundlage für KI und maschinelles Lernen bereit – und sind andererseits im ständigen Austausch mit den Datenschutzverantwortlichen.

Als Partner des Leistungszentrums KAMO: Karlsruhe Mobility, sowie der Fraunhofer-Allianz Verkehr befindet sich das Fraunhofer IOSB in enger und gelebter Kooperation mit wichtigen Kompetenzträgern aus Karlsruhe (wie KIT, FZI, HKA) sowie der Fraunhofer-Gesellschaft, um gemeinsam für unsere Auftraggeber ein noch breiteres Spektrum an Lösungsmöglichkeiten für individuelle Probleme anbieten zu können.

Von niederschwelligen Vorstudien, Recherchen, Benchmarks und Experimenten bis hin zur Gesamtentwicklung und Erprobung von innovativen Mobilitätstechnologien – wir sind mit unseren Kompetenzen und Laboren Ihr Ansprechpartner für Forschung und Entwicklung.

Sicherheitsanwendungen / Automotive Safety

Mit zunehmender Bedeutung von KI, und mit steigenden Stufen der Automatisierung ergeben sich neue Anforderungen an Sicherheit (Safety) und die Sensorik im Fahrzeugaußenraum und Fahrzeuginnenraum. Neue Gesetze (General Safety Regulation II, GSR II) und Testverfahren (u.a. von EuroNCAP) tragen dem Rechnung und fördern insb. Sensor-Fusion zwischen vielen, oft optischen Sensoren. Die Datenfusion u.a. mit neuesten Ansätzen der künstlichen Intelligenz, birgt ungehobenes Potenzial und ist in unserer Forschung und Entwicklung fest verankert. Für die Erfüllung zukünftiger Anforderungen der Gesetzgeber und EuroNCAP forschen wir am Fraunhofer IOSB an der geforderten Erkennung von Schläfrigkeit und Schlaf, Ablenkung und kognitiver Ablenkung, Motion Sickness und levelkonformem Fahrerverhalten. Dabei setzen wir auf KI-getriebene Technologieentwicklung, variantenreiche KI-Datenerhebungen und standardisierte Nutzerstudien.

Entsprechend der neuen Anforderungen entwickeln sich Konzepte und Standards auch für die Funktionsentwicklung weiter. Klassische Standards, insbesondere ISO 26262 (funktionale Sicherheit) repräsentieren den Fokus auf stochastische, technische Funktionsausfälle, gestaffelt über Risiken nach Automotive Safety Integrity Levels (ASIL). Schon hier waren erhebliche Umfänge für Erprobung und Absicherung erforderlich. Die zunehmende Komplexität der Funktionen, die nicht nur technische Ausfälle betrifft, sondern Bedienungsfehler oder das Verhalten anderer Verkehrsteilnehmer, ist hingegen abgebildet in ISO 21448 (Sicherheit der Sollfunktion, SOTIF). Hier sind alle Risiken abgedeckt, die auftreten, obwohl alle technischen Komponenten nominell funktionieren. Der Bereich Safety und KI wiederum ist Gegenstand der ISO 8800. Insgesamt ergibt sich so eine komplexe Struktur an Sicherheitserwägungen für den Nachweis, dass eine Fahrfunktion im öffentlichen Verkehr tatsächlich sicher ist. Die konkrete Nachweisführung wiederum erfordert nach heutigem Stand sowohl Realtestfahrten, als auch Prüfstandstests und Simulationen, im Bereich Hardware-in-the-Loop (HIL) oder Software-in-the-Loop (SIL). Fraunhofer bietet diese Dienstleistung mit umfangreichen Laboren und effizienten Prozessen an, und ermöglicht virtuelle Erprobung durch die Simulationsplattform Fraunhofer OCTANE/OCTAS.

User Experience

Die Entwicklung und Verwendung neuer, insb. optischer Sensoren im Fahrzeug ermöglichen neue und innovative Mensch-Maschine und Mensch-KI-Interaktionen in Fahrzeugen. Die User Experience bestimmt dabei oft über den Markterfolg – dies gilt insb. bei einem ansonsten technisch reiften Produkt wie dem Personenkraftwagen. Der Wettbewerb wird dabei zukünftig ganz entscheidend im Bereich User Experience ausgetragen. Auch neue Funktionen kommen weiterhin in hoher Zahl ins Fahrzeug und heben dessen Alltagswert – auch für Aktivitäten, die nicht der Fortbewegung dienen. Elektrofahrzeuge können auch im Stand die volle Funktionalität bieten, die mit einem bequemen Innenraum und optimierten Bedien- und Anzeigeelementen denkbar sind. Kameras im Außenraum und Innenraum bieten noch viel ungenutztes Potenzial. Wir forschen am Fraunhofer IOSB daher nutzerzentriert an der Parkraumerfassung, Personenerkennung, der Einbindungen von Videospielen und an neuen, kamerabasierten Bedienkonzepten rund um das Fahrzeug und im Fahrzeug der Zukunft.

Die Erhebung von Daten im Fahrzeug erfordert tiefes Verständnis der Anforderung an Qualitätskriterien für KI-Trainingsdaten. Für eine effiziente Erhebung sind Erfahrung mit Messtechnik, Prozesse zur DSGVO- konformen Datenspeicherung und Datenverarbeitung und eine optimierte Laborausstattung notwendig. Datenerhebungen in Deutschland, Europa und weltweit können bei Fraunhofer beauftragt werden. Dafür stehen die notwendigen Prozesse und eine beeindruckende Laborausstattung mit Fahrzeugen, Messtechnik und Servern zur Verfügung (Link zu den Laboren).

Unsere Forschungsgruppen beraten Sie bei der Umsetzung Ihrer datengetriebenen KI-Projekte und entwickeln für Sie Proof-of-Concept Demonstratoren bis hin zu maßgeschneiderten Anwendungen. Für KI-Performance Evaluationen, User-Experience Evaluationen und Optimierungen stellen wir unsere erprobten Prozesse und unsere Laborausstattung für Sie bereit.

Die Entwicklung und Erprobung von Fahrzeugtechnologien verlagern sich zunehmend in den virtuellen Raum. Simulationen und synthetische Daten tragen schon heute dazu bei, Funktionen frühzeitig und niederschwellig zu testen und evaluieren – oft, bevor die realen Systeme fertiggestellt sind.

Durch die zunehmenden Umfänge für die Absicherung, die mit Realdaten kaum abzudecken sind, die Sicherheitskritikalität, aber auch durch erhöhte Datenbedarfe von KI und ML, übernimmt Simulation und virtuelles Testen aber auch zunehmend weitere Rollen. So wird davon ausgegangen, dass perspektivisch automatisierte Fahrzeugfunktionen zu wesentlichen Teilen simulativ getestet und freigegeben werden müssen, um wirtschaftlich zu bleiben.

Das Fraunhofer IOSB entwickelt daher seit 2014 die offene Simulationsplattform OCTANE/OCTAS, die auf das modulare Zusammenspiel unterschiedlicher Komponenten zielt. Durch die Plugin-basierte Architektur können Simulationsmodule unterschiedlicher Anbieter nahtlos zusammenarbeiten, und für beliebige Anwendungsfälle rekombiniert werden. Dazu zählt die Simulation von Fahrdynamik, Sensorik, Kommunikation (V2V, V2I, V2X), sowie des Verhaltens anderer Verkehrsteilnehmer. Auf diese Weise entsteht ein umfassender und flexibel erweiterbarer digitaler Zwilling des Gesamtsystems.

Darüber hinaus ermöglicht dies die Erzeugung synthetischer Datensätze einschließlich Ground-Truth, mithilfe derer KI-Verfahren trainiert und ihre Leistung sowie Systemgrenzen getestet werden können. Open-Data-Datensätze, die für KI-Training nachweislich die Güte von Realdaten erreichen, sind unter synset.de verfügbar. Zugeschnittene Datensätze für kundenspezifische Anwendungen stellen eine realistische, datenschutzsichere und hochwertige Quelle für Trainings- und Testdaten da.

Ein wesentlicher Anteil der Unfälle ist auf sogenanntes menschliches Versagen zurückzuführen. Die “Human-Factors” spielen für die Fahrzeugsicherheit, trotz und gerade wegen zunehmender Automatisierung der Fahrzeuge eine entscheidende Rolle. Aktuelle und zukünftige Gesetze der EU und Testprotokolle von EuroNCAP fordern daher effektive Systeme für die Fahrerzustandsüberwachung (Driver Monitoring Systeme (DMS) und Occupant Monitoring Systeme (OMS)).

Innenraumsensorik, wie das Advanced Occupant Monitoring System (link) des Fraunhofer IOSB, können zudem für viele innovative Entertainmentfunktionen eingesetzt werden. Sie ermöglichen ganz neue Funktionen, erhöhen die Gebrauchstauglichkeit (Usability) und User Experience im Fahrzeug. Fraunhofer unterstützt dank jahrzehntelanger Forschung an aktuellen Entwicklungen die Umsetzung und Evaluation neuer Anwendungen, die ein außergewöhnliches Markenerlebnis im Fahrzeug unterstützen. Wir unterstützen den Einsatz aller Arten von optischen Sensoren wie Mono- und Stereo-Kameras, ToF und FIR und Sensor-Fusion mit weiteren Daten. Dank neuester KI-Verfahren, wie Multimodale KI-Modelle, Vision Language Models (VLM) und lokale LLM sind unsere Funktionsentwicklungen schnell und äußerst innovativ. Wir stellen Proof-of-Concept Demonstratoren auf die Beine und evaluieren diese in Nutzerstudien und Performance Tests.

Am Fraunhofer IOSB bieten wir unseren Kunden langjährige Erfahrungen in den Bereichen Fahrzeuginnenraumanalyse, Fahrzeugaußenraumanalyse und Analysen des gesamten Verkehrssystems. Durch diese gebündelten Kompetenzen werden erfolgreiche Projekte möglich, die die Fusion dieser Datenquellen erfordern. Der Schwerpunkt des Fraunhofer IOSB auf Optronik, Systemtechnik und Bildverarbeitung ermöglicht die Fusion dieser Disziplinen für ein optimiertes Fahrzeuggesamtsystem. Einheitliche optische Erfassungssysteme heben konkrete Potenziale durch die einzigartige Kombination der Kernkompetenzen am Fraunhofer IOSB.

Als renommierte Forschungseinrichtung hat das Fraunhofer IOSB Prozesse etabliert, die alle DSGVO-Anforderungen erfüllen. Dadurch können wir einerseits eine Vielzahl an Erhebungen durchführen, die den Personenbezug von Vornherein ausschließen. Zudem sind wir in der Lage, auch personenbezogene Daten zu verarbeiten, und können Datensparsamkeit richtig beurteilen. Durch vielfältige Erfahrungen und einer ganzen Reihe eigener Forschungsprojekte, speziell zu diesen Themen sind wir ihr sicherer Partner für Beratung und für die Verarbeitung personenbezogener Daten. Im Projekt Anymos (link) entwickeln wir eine Datenverarbeitungsarchitektur, die Bilddaten aus dem Fahrzeug teilweise anonymisiert verarbeitet und zusätzlich per Privacy Broker für die Forschung verwertbar hält. In anderen Projekten entwickeln wir kundenspezifische Lösungen zur Erhebung von Daten im Bereich Automotive und Mobilität, sowie zur Anonymisierung von Videobildern unter Erhaltung der relevanten Informationen.