KI und die Zukunft der Entwicklung funktionaler Sicherheitssoftware: Ein pragmatischer Weg nach vorn

KI verspricht, die funktionale Sicherheitssoftware zu revolutionieren, doch der Weg dorthin ist zweigleisig. Lesen Sie weiter, um einen pragmatischen Fahrplan für die sichere Nutzung von KI zu erhalten und die Entwicklung bereits heute zu beschleunigen. Dabei sollten Sie die Risiken der Einbettung in kritische Systeme sorgfältig berücksichtigen.

Künstliche Intelligenz (KI) verändert Branchen in beispiellosem Tempo. Entwicklung eingebetteter Software Funktionale Sicherheitssysteme bilden da keine Ausnahme. Von der Automobilindustrie bis zur Luft- und Raumfahrt erforschen Entwickler, wie KI die Produktivität steigern, die Qualität verbessern und die Markteinführung beschleunigen kann. Doch wie bei jeder transformativen Technologie muss der Weg in die Zukunft mit Bedacht gewählt werden, insbesondere wenn es um die Sicherheit geht.

Lassen Sie uns zwei unterschiedliche Dimensionen der KI im Kontext der funktionalen Sicherheit untersuchen:

• KI im Entwicklungsprozess und in der Werkzeugautomatisierung
• KI in eingebetteten Systemen, zum Beispiel Inferenzmaschinen

Obwohl beide vielversprechend sind, weisen sie sehr unterschiedliche Risikoprofile und Reifegrade auf. KI-gestützte Tools und Automatisierung verspricht kurzfristig eine Steigerung der Produktivität und Innovation in einem bekanntermaßen vorsichtigen Bereich, während der Einsatz von KI-Modellen in sicherheitskritischen eingebetteten Umgebungen zwar im Entstehen begriffen ist, aber eine gewisse Vorsicht und ein Bewusstsein für die Risiken erfordert.

KI im Entwicklungsprozess: Ein Produktivitätskatalysator

Der Softwareentwicklungszyklus für sicherheitskritische Systeme ist bekanntermaßen streng. Normen wie DO-178C, ISO 26262 und IEC 61508 verlangen eine umfassende Dokumentation, Rückverfolgbarkeit und Verifizierung des gesamten Entwicklungsprozesses. Diese Komplexität ist zwar für die Sicherheit unerlässlich, verlangsamt aber oft Innovationen und erhöht die Kosten.

Hier kann KI glänzen – nicht als Ersatz für Ingenieure, sondern als deren Unterstützung. Human-in-the-Loop-Entwicklungsprozesse mit KI-gestützten Tools versprechen Produktivitätssteigerungen durch:

• Prozesse leiten und durchsetzen.
• Sicherstellung der kontinuierlichen Einhaltung von Standards.
• Vereinfachung der Erstellung oder Referenzierung relevanter Dokumentation.
• Hilft Entwicklern und Verifizierungsteams, sich auf die wichtigen Aufgaben zu konzentrieren.

Wichtige Chancen für die Embedded-Entwicklung

• Automatisierte Testgenerierung. KI kann Anforderungen analysieren und aussagekräftige Testfälle generieren, wodurch der manuelle Aufwand reduziert und die Abdeckung verbessert wird.
• Rückverfolgbarkeit von Anforderungen. Mithilfe der Verarbeitung natürlicher Sprache (NLP) können Anforderungen mit Code, Tests und Dokumentation verknüpft und so die Compliance optimiert werden.
• Verbesserung der statischen und dynamischen Analyse. KI kann dabei helfen, Muster im Code zu erkennen, die zu Fehlern führen können, und so die Früherkennung verbessern. Beispielsweise ist KI äußerst geschickt darin, das Signal-Rausch-Verhältnis zu verbessern, die verwässernden Auswirkungen von Fehlalarmen zu minimieren und Korrekturvorschläge zu machen.
• Unterstützung des Assurance-Arguments. KI-Tools können dabei helfen, strukturierte Sicherheitsargumente zu entwerfen, beispielsweise durch die Verwendung der Goal Structuring Notation, obwohl die menschliche Aufsicht weiterhin unerlässlich ist.

Diese Anwendungen sind deterministisch, überprüfbar und begrenzt, wodurch sie sich gut für sicherheitskritische Entwicklungsumgebungen eignen. Sie treffen keine autonomen Entscheidungen. Sie unterstützen Menschen dabei, bessere Entscheidungen zu treffen. Sicherheit kann nicht ausgelagert werden, aber geführte Prozesse können zu einer höheren Produktivität führen und so schnellere Lieferzyklen und mehr Innovation ermöglichen.

Es ist wichtig zu wissen, dass die bei der Entwicklung funktionaler Sicherheitssoftware verwendeten Tools Konformitätsstandards unterliegen können, um potenzielle unbeabsichtigte Fehler während des Entwicklungsprozesses zu vermeiden. Daher kann eine Qualifizierung erforderlich sein.

Um den Aufwand für die Tool-Qualifizierung zu minimieren und die sichere Entwicklung kritischer Anwendungen zu unterstützen, bieten Unternehmen wie Parasoft Qualifizierungskits für viele Embedded-Software-Tools an. In Zukunft wird Parasoft ein TÜV SÜD-Zertifikat für C/C++test CT mit GoogleTest um Organisationen zu unterstützen, die verschiedene Standards einhalten müssen.

KI in eingebetteten Systemen: Eine warnende Grenze

Der Einsatz von KI-Modellen, insbesondere Inferenzmaschinen wie neuronalen Netzwerken, in eingebetteten Systemen bringt eine Reihe von Herausforderungen mit sich, die noch nicht vollständig gelöst sind.

Haupthindernisse

Mangelnder Determinismus

Funktionale Sicherheit erfordert vorhersehbares Verhalten. KI-Modelle, insbesondere Deep-Learning-Systeme, sind von Natur aus probabilistisch. Ihre Ergebnisse können aufgrund geringfügiger Änderungen der Eingaben variieren, was ihre Validierung im Rahmen herkömmlicher Sicherheitsrahmen erschwert.

Halluzinationen und falsches Vertrauen

Große Sprachmodelle (LLMs) und andere generative KI-Systeme können Ergebnisse produzieren, die zwar plausibel klingen, aber sachlich falsch sind. In sicherheitskritischen Kontexten ist dies inakzeptabel.

Undurchsichtige Entscheidungsfindung

KI-Modelle funktionieren oft wie Blackboxen. Im Gegensatz zu regelbasierten Systemen ist ihre interne Logik nicht leicht zu interpretieren. Diese mangelnde Erklärbarkeit untergräbt das Vertrauen und erschwert die Zertifizierung.

Fehlende Standards

Während die Werkzeugautomatisierung bestehenden Standards entspricht, fehlt für den Einsatz von KI in eingebetteten Systemen ein ausgereifter regulatorischer Rahmen. Zwar laufen entsprechende Bemühungen, doch Konsens und Vorgaben befinden sich branchenübergreifend in unterschiedlichem Reifegrad. Ein Beispiel hierfür ist die KI-Roadmap der FAA in der Avionik oder neue Standards wie ISO 8800 im Automobilbereich.

Komplexität der Verifizierung und Validierung

Herkömmliche V&V-Methoden haben Schwierigkeiten, mit der nichtlinearen, hochdimensionalen Natur von KI-Modellen umzugehen. Der Nachweis, dass sich ein KI-System in allen Szenarien sicher verhält, ist eine enorme Herausforderung.

Ein pragmatischer Fahrplan

Angesichts dieser Realitäten sollte die kurzfristige Strategie für Organisationen, die im Bereich der funktionalen Sicherheit arbeiten, klar sein:

Nutzen Sie KI für die Entwicklungsautomatisierung

• Investieren Sie in KI-gestützte Tools, die Unterstützung bei Tests, Dokumentation und Compliance.
• Stellen Sie sicher, dass die Ergebnisse nachvollziehbar, erklärbar und überprüfbar sind.
• Nutzen Sie KI, um das menschliche Urteilsvermögen zu erweitern – nicht zu ersetzen.

Gehen Sie bei der Bereitstellung eingebetteter KI vorsichtig vor

• Beschränken Sie den Einsatz von KI auf nicht sicherheitskritische Funktionen oder eng begrenzte Anwendungen.
• Erkunden Sie hybride Ansätze, beispielsweise regelbasierte Systeme mit KI-Erweiterung.
• Nehmen Sie an der Entwicklung von Standards und Pilotprogrammen teil, um zukünftige Vorschriften zu gestalten.

Fazit

KI ist kein Allheilmittel, aber ein mächtiges Werkzeug. Im Bereich der funktionalen Sicherheit liegt ihr größter Nutzen heute in der Verbesserung des Entwicklungsprozesses, noch nicht im Ersatz deterministischer Logik in eingebetteten Systemen, obwohl auch in diesem Bereich Verbesserungen im Gange sind.

Durch die Konzentration auf die Werkzeugautomatisierung können Unternehmen ihre Produktivität steigern und Innovationen beschleunigen – ohne die strengen Sicherheitsstandards zu gefährden, die Leben schützen.

Die Zukunft der KI in eingebetteten Sicherheitssystemen wird kommen, muss aber auf Vertrauen, Transparenz und nachgewiesener Wirksamkeit basieren. Bis dahin sollten wir KI dort einsetzen, wo sie am stärksten ist: um Menschen dabei zu helfen, sicherere Systeme schneller zu entwickeln.