Die DEKRA ist als Prüforganisation im Forschungsprojekt Autowerkstatt 4.0 an der Entwicklung von Testverfahren für KI-Systeme beteiligt. Im Interview mit André Graßmuck, Data Scientist bei der DEKRA, sprechen wir über die Rolle des Unternehmens im Projekt, die Herausforderungen bei der Zertifizierung von KI-Systemen und warum standardisierte Prüfverfahren für die Zukunft der Automobilbranche so wichtig sind.
Autowerkstatt 4.0: Herr Graßmuck, welche Rolle spielt die DEKRA im Projekt Autowerkstatt 4.0?
André Graßmuck: Wir sind als Berater im Projekt tätig. Unser Ziel war es primär, Testalgorithmen zu entwickeln, mit denen wir später ISO-Standards für KI-Systeme abprüfen können. Das ist im Grunde die Vorstufe zur eigentlichen Zertifizierung. Im Autowerkstatt-4.0-Projekt haben wir uns darauf konzentriert, die Datenqualität nach den Vorgaben der ISO 5259, die Standards für die Datenqualität in KI- und Machine-Learning-Anwendungen definiert, und das Model Robustness Testing zu etablieren. Damit können wir in den Projektdaten Schwachstellen und Grenzen aufzeigen – ein entscheidender Schritt für die weitere Entwicklung.
Autowerkstatt 4.0: Warum ist die Qualität der Eingangsdaten so wichtig?
Graßmuck: Eine KI ist nur so gut wie ihre Trainingsdaten. Ein bekanntes Problem aus der Praxis sind KI-Systeme im Recruiting-Prozess. Diese spiegeln oft die bestehenden Ungerechtigkeiten einer Gesellschaft wieder. Wenn ich Daten verwende, die den Gender Pay Gap oder andere gesellschaftliche Schwächen abbilden, wird die KI diese Muster reproduzieren. Das System könnte dann etwa männliche Bewerber bevorzugen, weil diese statistisch gesehen seltener in Elternzeit gehen. Man kann die Daten also nicht ungefiltert in eine KI einspeisen und erwarten, dass sie unsere ethischen Werte abbildet. Genau deshalb sind Standards wie die ISO 5259 so wichtig – sie helfen uns, solche Probleme frühzeitig zu erkennen und zu vermeiden.
Autowerkstatt 4.0: Wie läuft so ein KI-Testing konkret ab?
Graßmuck: Nehmen wir als Beispiel das Model Robustness Testing: Dabei testen wir die Grenzen des Modells und ermitteln, ab wann es so schlecht wird, dass man es nicht mehr nutzen kann. Wir unterscheiden zwischen nicht beabsichtigten Fehlern – den sogenannten non-adversarial attacks – und gezielten Angriffen, den adversarial attacks. Nicht-beabsichtigte Fehler wären etwa verschmutzte Verkehrsschilder, die eine KI im Fahrzeug nicht mehr erkennt. Bei unbeabsichtigten Fehlern fügt man beim Testing ‚natürliche‘ Störsignale hinzu und prüft, wie die KI darauf reagiert. Ziel ist es, ein KI-Modell zu entwickeln, das auch bei solchen Herausforderungen präzise bleibt. Beim Abtesten von adversarial attacks wird gezielt nach Schwachstellen im Modell gesucht. Hierbei ist Wissen über die Modellarchitektur und die Parameter hilfreich.
Autowerkstatt 4.0: Was könnten Störsignale im aktuellen Projekt sein?
Graßmuck: Die Werkstätten im Projekt arbeiten mit Oszilloskopdaten, also Zeitreihen teilweise mit mehreren Kanälen. Dafür könnte man verschiedene Parameter simulieren: Die Abtastrate kann sich ändern, es können Aussetzer oder Ausreißer auftreten, Rauschen kann die Messung stören. All diese Szenarien können wir simulieren und dabei beobachten, wie das System reagiert. Es ist im Prinzip ein klassisches Blackbox-Testing, bei dem wir schauen, ab wann die Genauigkeit unter ein akzeptables Ergebnis fällt.
Autowerkstatt 4.0: Warum sind Ihrer Ansicht nach solche Testings und Zertifizierungen im Automobilsektor relevant?
Graßmuck: Zertifizierungen bestätigen, dass ein System festgelegte Standards einhält, was bei KI-Systemen zunehmend an Bedeutung gewinnt. Anders als in vielen Bereichen gibt es für KI aber bislang nur wenige etablierte Standards. Die rasante Entwicklung und die Vielfalt der Modelle, die unterschiedliche Eingabedaten verarbeiten, machen den Standardisierungsprozess sehr komplex. Dennoch sind einige wichtige Normen, wie etwa die bereits angesprochene ISO 5259 zur Datenqualität für KI, bereits veröffentlicht worden, die eine Grundlage für vertrauenswürdige und ethisch korrekte KI schaffen.
Autowerkstatt 4.0: Und auf das Projekt gemünzt: Welche konkreten Vorteile bringt eine KI-Zertifizierung den Werkstätten?
Graßmuck: Ein System wird nur akzeptiert, wenn es einen echten Mehrwert bringt. Im Projekt war eine große Herausforderung, dass der Mehrwert nicht nur in der Effizienzsteigerung liegen sollte – es gibt ja bereits sehr gute Diagnosegeräte für Werkstätten. Stattdessen ging es um mehr Nachhaltigkeit durch gezieltes Finden defekter Bauteile. Aktuell werden in Werkstätten oft Teile getauscht, die gar nicht defekt sind. Das ist weder nachhaltig noch kostengünstig für den Kunden. Damit eine KI-Lösung hier helfen kann, muss sie sich nahtlos in den Werkstattalltag einfügen und vor allem von den Mechanikern akzeptiert werden. Eine Zertifizierung kann dieses Vertrauen schaffen – ähnlich wie ein Bio-Siegel beim Einkauf. Durch das Siegel erhalten Werkstätten die Gewissheit, dass die Lösungen zuverlässig und sicher arbeiten. Langfristig wird das die Akzeptanz für KI-Lösungen steigern, was dem gesamten Sektor zugutekommt. Es sollte aber nicht nur ein undurchsichtiger Stempel sein, sondern auf nachvollziehbaren Kriterien basieren. Hier spielt die Zertifizierung eine wichtige Rolle: Durch sie kann das Vertrauen in neue Technologien gestärkt werden.
Autowerkstatt 4.0: Könnte ein langer Testing-Prozess die Innovationen nicht auch hemmen?
Graßmuck: Natürlich gibt es auch bei diesem Thema Kritik. Viele sehen zum Beispiel den EU AI Act, der eine sichere und ethische Nutzung von KI innerhalb der EU durch mehr Regulation und Kontrolle sicherstellen möchte, als Innovationshemmnis. Ich verstehe die Kritik, bin aber überzeugt, dass wir in der EU auf dem richtigen Weg sind. Betrachtet man die erstarkende Konkurrenz im Automobilsektor aus Fernost so können unsere hohen Standards und das daraus resultierende Vertrauen zum Vorteil im internationalen Markt werden.
Autowerkstatt 4.0: Also sehen Sie Zertifizierungen als notwendig für die Zukunft der Automobilindustrie?
Graßmuck: Absolut. KI-Systeme im Automobilbereich müssen den gleichen Sicherheitsstandards genügen wie andere Fahrzeugkomponenten. Wenn wir zum Beispiel über KI für autonomes Fahren sprechen, steht besonders die kontinuierliche Funktionsprüfung im Fokus. Ich könnte mir vorstellen, dass in Zukunft das Testen von KI-Komponenten Teil der Hauptuntersuchung wird. Vertrauen in die Technologie ist entscheidend, vor allem, wenn wir die Kontrolle an das Fahrzeug abgeben. Zertifizierungen spielen hier eine zentrale Rolle, um Innovationen voranzutreiben und trotzdem höchste Sicherheit zu gewährleisten.
Autowerkstatt 4.0: Vielen Dank für das Gespräch!