Auf einen Blick

Gesamtziel des Vorhabens

KARLIs Ziel ist die Entwicklung einer adaptiven, responsiven und levelkonformen Interaktion im Fahrzeug der Zukunft.

Dafür werden in KARLI kundenrelevante KI-Funktionen entwickelt, die für unterschiedliche Stufen auf dem Weg zum automatisierten Fahrzeug (Automationslevel) Fahrerzustände erfassen und Interaktionen gestalten. Diese KI-Funktionen werden in KARLI aus empirischen und synthetisch erzeugten Daten entwickelt. Die Daten werden in KARLI so erhoben und verwendet, dass die Projektergebnisse skalierbar auf zukünftig verfügbare Big Data aus Serienfahrzeugen sind. KARLI liefert die Spezifikationen und Anforderungen für die Fahrzeugarchitektur und Sensorik der Zukunft, sodass die kommenden Innenraumsensoren optimale Big Data für Fahrer-Fahrzeug-Modelle und KI-Interaktionen erheben.

Forschungsleitende Hypothese ist, dass KI-basierte Fahrer-Fahrzeugzustandsmodelle die notwendige Güte und Robustheit erreichen, um multilevelfähige automatisierte Fahrzeuge durch situationsadaptive Mensch-Maschine-Interaktionen (MMI) zu ermöglichen.

Das Konsortium geht davon aus, dass Fahrzeuge, die mehrere Level der Automatisierung beherrschen, nicht marktreif werden, wenn die levelspezifischen Anforderungen an die Insassen und Fahrer nicht dediziert in der MMI abgebildet sind. Der Zusammenhang zwischen adaptiven und auch personalisierten MMI und einer levelkonformen Fahrerzustandserkennung führt zu KARLIs Ziel, levelkonformes Verhalten zu definieren, zu erkennen und zu fördern.

Die in KARLI entwickelten Fahrer-Fahrzeug-Zustandsmodelle (FFZ) werden durch zukünftige Big Data aus dem Fahrzeuginnenraum kontinuierlich weiterentwickelt, wobei KARLI die Anforderungen an diese Big Data aufgrund von Small2Big Datenerhebungen bereits definieren kann, bevor die Big Data im Serienbetrieb erhoben werden.

Dieser Ansatz verbessert die Datenqualität, die zukünftige Fahrzeuge für FFZ und MMI liefern. Eine weitere Voraussetzung für den Einsatz KI-basierter FFZ und MMI ist die KI-Absicherung z.B. in Bezug auf die Robustheit von KI-FFZ und die Vermeidung von Missbrauch und die Verhinderung böswilliger Angriffe auf die KI-MMI. KARLI erprobt hierfür unterschiedliche Methoden und bewertet u.a. deren Einfluss auf die messbare User Experience des Gesamtsystems. Hierauf zielen auch die Entwicklung von UX-Gestaltungsdimensionen, Guidelines und Testmethoden speziell für KI-MMI ab.

Die besondere Herausforderung bei der Umsetzung des Vorhabensziels, …

… ist die große Varianz möglicher Situationen im Fahrzeuginnenraum. Erste KI-Ansätze z.B. aus InCarIn, PaKOS (Fraunhofer) und IFAS (Continental) nutzten äußerst erfolgreich einen kontrolliert aufgezeichneten und manuell gelabelten Kamerabild-Datensatz mit eingeschränktem Zustandsraum.

Die darauf aufbauenden KI-Modelle sind jedoch eingeschränkt auf die Label im Datensatz. Im Lösungsansatz von KARLI wird untersucht, wie KI-Verfahren durch weniger strukturierte, aber große und multisensorische Datenmengen (Big Data), besser für den realen Einsatz trainiert werden können. Das Vorgehen ist dabei, zuerst einen relativ kleinen, manuell gelabelten Datensatz zu nutzen, diesen dann aber während der Projektlaufzeit stetig mit weniger gelabelten oder gänzlich ungelabelten Daten aus realen Situationen zu erweitern. Dieses Vorgehen wird folgend „Small2Big Data“-Ansatz genannt.

Im Projekt werden bei der Datenerhebung zur Übertragbarkeit der Ergebnisse vor allem Realfahrten durchgeführt (Jipp & Schnieder, 2020). Diese werden um synthetisch erzeugte Daten ergänzt. KARLI begegnet damit dem hohen Bedarf an empirischen KI-Trainingsdaten und untersucht, wie solche Daten gewinnbringend in KI-Verfahren eingesetzt werden können. Ansätze sind KI-unterstütztes Manuel Labeling, Transfer Learning, Weakly Supervised Learning oder Zero Shot Learning. Die passenden Methoden werden in der Konzeptphase des Projekts ausgewählt und während der Projektlaufzeit verglichen. Die ausgewählten Verfahren ermöglichen auch den späteren Einsatz von Daten aus Serienfahrzeugen, um die Qualität weiter zu steigern, Randfälle zu erfassen und die Verfahren an sich ändernde Verhaltensweisen anzupassen.

Aufgrund der Komplexität und der Vielzahl an Variablen, die nicht nur im Innenraum erfasst werden müssen, können nur KI-Ansätze die zu erwartende Menge an multidimensionalen Daten sinnvoll interpretieren und maßgebliche Fortschritte an Robustheit und situativer Passgenauigkeit erzielen (Ludwig et al., 2018).

Auch lernende, adaptive Interaktionen sind nur durch den Einsatz von Machine Learning technisch umsetzbar. KARLI nimmt diese Herausforderung an und setzt den Grundstein für die Integration von KI-basierten, adaptiven, responsiven und levelkonformen Mensch-Maschine-Interaktionen im intelligenten Fahrzeug „made in Germany“.

Die Zielanwendungen von KARLI …

… sind auf das Gesamtziel „levelkonformes Fahrerverhalten“ ausgerichtet. Aus der aktuellen Fahrsituation, einschließlich des Automationslevels, ergeben sich konkrete Anforderungen an den Zustand des Fahrers, an dessen Verhalten und die daraus prädizierbare Handlungsfähigkeit. Die Erfassung der Fahrsituation und des Fahrerzustands erlaubt
somit einen Ist-Ziel-Abgleich und eine gezielte Annäherung im Dialog zwischen Mensch und Maschine. So wird erreicht, dass einerseits fahrerseitiges Modus- und Situationsbewusstsein geschaffen und die Transitionsbereitschaft gefördert wird, und andererseits die Trajektorienplanung und das Automationslevel an den Fahrerzustand angepasst werden. KARLI fördert das Fahren mit einem möglichst hohen Automatisierungslevel was sich positiv auf Effizienz und Sicherheit auswirkt. Gleichzeitig werden Motion Sickness, Missbrauch und Fehlgebrauch der Automationsfunktion erkannt und vermieden.

Die Erfassung des Fahrerzustands und der Fahrsituation sowie die adaptive MMI werden durch den Einsatz von KI-Technologien realisiert. Dafür wird eine KI-optimierte Datenerhebung in relevanten Fahrszenarien auf der Straße durchgeführt. Der Small2Big Data-Ansatz und die Erzeugung synthetischer Trainingsdaten erlauben die Skalierbarkeit der KI-Methoden auf zukünftige Big Data aus Serienfahrzeugen. Das Projektergebnis ist eine adaptive, responsive und levelkonforme Interaktion im Fahrzeug, bestehend aus KI-basierten FFZ und MMI. Diese werden im Small2Big Data-Ansatz mit neuen KI-Fusionsmodellen entwickelt und in Realfahrzeugen pilotiert und evaluiert.