Entdecken Sie das TÜV-zertifizierte GoogleTest mit Agentic AI für C/C++-Tests!
Details ansehen »
WEBINAR
Mit dem Einzug von KI in sicherheitskritische Systeme verändern sich einige der grundlegenden Annahmen traditioneller Sicherheitstechnik. Ein KI-System kann exakt wie geplant funktionieren und dennoch aufgrund von Einschränkungen seiner Daten, Fähigkeiten oder Betriebsbedingungen ein unsicheres Ergebnis liefern.
ISO/PAS 8800 bietet einen Rahmen zur Bewältigung dieser Herausforderungen. Entwickelt für KI in Straßenfahrzeugen, arbeitet es mit ISO 26262 und SOTIF zusammen, um KI-spezifische Risiken über den gesamten Sicherheitslebenszyklus hinweg zu adressieren – von Anforderungen, Daten und Modellentwicklung bis hin zu Verifizierung, Implementierung und Betriebsüberwachung.
In diesem Webinar erfahren Sie, wie ISO/PAS 8800 die Sicherheit von KI auf Systemebene angeht und wie Organisationen die notwendigen Nachweise erbringen können, um zu belegen, dass KI-gestützte Systeme hinreichend sicher sind.
Was Sie lernen werden:
Bei KI-Sicherheit geht es nicht darum, zu beweisen, dass ein KI-Modell niemals Fehler macht. Es geht vielmehr darum, das gesamte System so zu gestalten, dass KI-Beschränkungen nicht zu inakzeptablen Sicherheitsrisiken werden.
Bei herkömmlicher Software lässt sich unsicheres Verhalten häufig auf einen identifizierbaren Fehler oder Defekt zurückführen, beispielsweise auf fehlerhaften Code, einen Spezifikationsfehler oder einen Hardwareausfall. Ingenieure können die Ursache ermitteln, sie beheben und die Änderung überprüfen.
Künstliche Intelligenz bringt eine weitere Herausforderung mit sich. Ein Fußgängererkennungsmodell kann zwar genau wie geplant funktionieren, aber dennoch eine Person bei starkem Regen, ungewöhnlichen Lichtverhältnissen oder anderen Bedingungen, die in den Trainingsdaten nicht ausreichend berücksichtigt wurden, nicht erkennen.
Diese Unterscheidung ist zentral für ISO/PAS 8800. Bei der Sicherheit von KI geht es nicht nur darum, die Zuverlässigkeit eines Modells nachzuweisen, sondern auch darum, Risiken im gesamten System zu kontrollieren.
Dieses System kann Folgendes umfassen:
Wenn ein Fahrzeug einen Fußgänger nicht erkennt, kann die Ursache in unzureichenden Trainingsdaten, einer Modellbeschränkung, einem Fehler in der Vorverarbeitung, einem Sensordefekt oder einem Problem in der herkömmlichen Software liegen. Jede Ursache erfordert eine andere Reaktion.
ISO/PAS 8800 wurde für KI in Serienfahrzeugen entwickelt, seine Konzepte lassen sich aber auch auf andere sicherheitskritische Branchen übertragen . Es ersetzt weder ISO 26262 noch SOTIF, sondern erweitert den Sicherheitsprozess um KI-spezifische Risiken.
Der Standard erlaubt es Teams, von traditionellen Verifikationsmethoden abzuweichen, wenn diese nicht für KI-Technologien geeignet sind. Beispielsweise sind statische Analysen und die strukturelle Codeabdeckung für C- oder C++-Software wertvoll, lassen sich aber nicht ohne Weiteres auf neuronale Netze anwenden.
Eine andere Strategie könnte Folgendes beinhalten:
Diese Flexibilität ist keine Freikarte. Jede Abweichung muss dokumentiert, begründet und durch Nachweise belegt werden, die belegen, dass das Sicherheitsziel weiterhin erreicht wird.
Ein zentraler Gedanke der KI-Sicherheit ist, dass das Modell nicht perfekt sein muss, damit das Gesamtsystem sicher ist. Anstatt zu versuchen, zu beweisen, dass die KI niemals Fehler macht, sollte die Architektur davon ausgehen, dass Fehler gelegentlich auftreten.
Eine KI-Komponente könnte beispielsweise ein Fahrzeug fälschlicherweise anweisen, in einem Wohngebiet 80 Meilen pro Stunde zu fahren. Eine unabhängige Geschwindigkeitsbegrenzungssteuerung kann diesen Befehl mit Kartendaten vergleichen und die unsichere Aktion verhindern.
Weitere Schutzmaßnahmen umfassen:
Ziel ist es, unerwartetes Verhalten zu erkennen, einzudämmen und zu kontrollieren.
Die Sicherheit von KI-Systemen geht über Entwicklung und Einsatz hinaus. ISO/PAS 8800 verknüpft KI-Sicherheitsaktivitäten mit dem bekannten Sicherheitslebenszyklus: Anforderungen definieren, Design, Verifizierung, Validierung, Einsatz und Überwachung.
In der Praxis verläuft der Prozess eher iterativ:
Vernetzte Systeme machen diesen Feedback-Mechanismus zunehmend praktikabel. Felddaten können Leistungseinbrüche bei bestimmten Wetterbedingungen oder in ungewöhnlichen Situationen aufzeigen. Diese Informationen können zu neuen Trainingsdaten, angepassten Anforderungen oder einer Modellaktualisierung führen.
Over-the-Air-Updates können Verbesserungen unterstützen, sicherheitsrelevante Änderungen müssen jedoch vor der Implementierung kontrolliert, nachvollziehbar, verifiziert und durch Nachweise belegt werden.
Beim maschinellen Lernen beeinflussen die Trainings-, Validierungs- und Testdaten das Systemverhalten maßgeblich. Unvollständige, verzerrte, fehlerhafte oder schlecht gekennzeichnete Daten können Sicherheitsprobleme verursachen, selbst wenn das Modell selbst korrekt implementiert ist.
Der Datensatz benötigt einen eigenen Lebenszyklus. Von der Definition dessen, was die Daten darstellen sollen, bis hin zu ihrer Aktualisierung, wenn im Feld neue Bedingungen entdeckt werden.
Der Lebenszyklus eines Datensatzes sollte eine Reihe praktischer Fragen beantworten:
Die Rückverfolgbarkeit sollte die Entscheidungen bezüglich der Datensätze mit den Sicherheitsanforderungen für KI verknüpfen. Teams müssen außerdem bekannte Einschränkungen dokumentieren und erläutern, warum die Daten für die vorgesehene Betriebsumgebung ausreichend sind.
Die Sicherheit von KI lässt sich nicht allein durch eine Genauigkeitszahl belegen. Eine Aussage wie „Das Modell ist zu 99.9 % genau“ ist unvollständig, ohne zu wissen, wo, wann und wie es getestet wurde.
Ein stärkeres Zusicherungsargument kombiniert:
Die Tests sollten von der einzelnen KI-Komponente über integrierte Funktionen bis hin zum gesamten Fahrzeugsystem reichen. Simulationen sind besonders hilfreich, da Ingenieure schwierige Szenarien mit Wetterbedingungen, Baustellen, Fußgängern, Verkehr und ungewöhnlichen Straßenführungen simulieren können, ohne die Kosten und Gefahren einer Nachbildung im öffentlichen Straßenverkehr tragen zu müssen.
Die Sicherheitsanalyse von KI muss auch Gefahren berücksichtigen, die aus komplexen Systeminteraktionen entstehen können, selbst wenn einzelne Komponenten nicht ausgefallen sind. Techniken wie die systemtheoretische Prozessanalyse (STPA) auf Basis des STAMP-Modells können traditionelle Ansätze wie die Fehlermöglichkeits- und Einflussanalyse (FMEA) und die Fehlerbaumanalyse ergänzen, indem sie unsichere Steuerungsaktionen, Interaktionen und Systemverhalten untersuchen, die zu Gefahren führen könnten.
KI-gestützte Systeme sind weiterhin auf herkömmliche Software angewiesen. C- und C++-Code übernimmt häufig Vorverarbeitung, Überwachung, Schutzmechanismen, Kommunikation und Ausweichverhalten. Damit diese Kontrollmechanismen Menschen schützen, falls die KI Fehler macht, müssen sie äußerst zuverlässig sein.
In vielen Fällen implementiert diese herkömmliche Software deterministische Schutzmechanismen, die das Verhalten der KI überwachen, einschränken oder außer Kraft setzen. Wenn wir uns auf diese Schutzmechanismen verlassen, falls die KI einen Fehler macht, benötigen wir stichhaltige Beweise für die Zuverlässigkeit der Software selbst.
Teams können etablierte Praktiken anwenden, wie zum Beispiel:
KI kann die Verifizierung unterstützen, indem sie Korrekturen vorschlägt, Tests generiert, Lücken in der Testabdeckung aufdeckt und Risiken priorisiert. Dennoch bleibt das Urteilsvermögen von Ingenieuren unerlässlich. Menschen müssen die Ergebnisse prüfen und entscheiden, ob die Beweise korrekt und ausreichend sind.
ISO/PAS 8800 erkennt an, dass die absolute Sicherheit von KI nicht bewiesen werden kann. Stattdessen bietet der Standard einen Weg, KI-spezifische Risiken zu identifizieren, Unsicherheiten zu bewältigen und eine stichhaltige Sicherheitsargumentation zu entwickeln.
Der wichtigste Paradigmenwechsel besteht darin, das KI-Modell nicht länger als alleiniges Produkt zu betrachten. Sicherheit hängt von der gesamten Kette ab – von Daten und Sensoren über Modelle, Software und Schutzmechanismen bis hin zur Überwachung in der realen Welt. Wenn diese Kette als ein System konzipiert wird, haben Unternehmen eine höhere Wahrscheinlichkeit, eine KI zu entwickeln, die nicht nur leistungsfähig, sondern auch ausreichend sicher ist.
