Entdecken Sie das TÜV-zertifizierte GoogleTest mit Agentic AI für C/C++-Tests!
Details ansehen »
Zum Abschnitt springen
Parasoft-Blog
Erfahren Sie, wie Sie KI sicher in eingebettete sicherheitskritische Systeme integrieren können, indem Sie traditionelle C/C++-Schutzmechanismen mit KI-spezifischer Validierung, Datenverwaltung, kontinuierlicher Überwachung und menschlicher Aufsicht kombinieren, um Intelligenz in geschaffenes Vertrauen zu verwandeln.
Zum Abschnitt springen
In der Luft- und Raumfahrt, der Automobilindustrie, der Medizintechnik, dem Schienenverkehr und der Verteidigungsindustrie war Ausfall nie eine Option. Künstliche Intelligenz revolutioniert nun eingebettete Systeme in all diesen Branchen. Autonome Flugsteuerung, fortschrittliche Fahrerassistenzsysteme, KI-gestützte Diagnose und robotergestützte Industrieautomatisierung sind erst der Anfang.
Doch hier liegt das Problem: KI versagt nicht wie herkömmliche Software. Sie versagt auf Arten, die wir nie testen mussten.
Herkömmliche eingebettete Software basierte auf deterministischem Verhalten. Wenn eine Sensorschnittstelle oder ein Regelkreis einen Fehler aufwies, konnte dieser auf einen Programmierfehler, einen Hardwarefehler oder eine Sicherheitslücke zurückgeführt werden.
Ingenieure haben jahrzehntelang gelernt, solche systematischen Fehler zu finden und zu beheben. Künstliche Intelligenz stellt dieses Modell auf den Kopf. Ein neuronales Netzwerk kann exakt wie geplant ausgeführt werden – perfekter Code, keine Laufzeitfehler – und sich dennoch gefährlich verhalten. Warum?
Weil die Trainingsdaten unvollständig waren. Die operativen Annahmen waren falsch. Oder es stieß auf ein Szenario, das außerhalb seiner gelernten Erfahrung lag.
Das ist nicht mehr nur ein Softwarefehler.
Das ist etwas Neues: funktionelle Unzulänglichkeit.
Ein herkömmlicher Fehler macht das Falsche. Unzulängliche KI macht das Richtige, aber für die falsche Welt.
Diese Umstellung erfordert ein grundlegendes Umdenken im Softwareentwicklungszyklus. Man kann nicht einfach ein KI-Modell an eine bestehende eingebettete Architektur anbinden und es als Feature bezeichnen. KI muss als integraler Bestandteil des sicherheitskritischen Systems entwickelt werden mit:
Die Zukunft von sicherheitskritische eingebettete Systeme Es geht nicht nur darum, sie intelligenter zu machen. Es geht darum sicherzustellen, dass Intelligenz selbst auf Vertrauen basiert.
Trotz des Booms im Bereich des maschinellen Lernens laufen nahezu alle sicherheitskritischen eingebetteten Plattformen immer noch mit deterministischer Software, hauptsächlich in C und C++. Diese Sprachen sind die eigentlichen Hüter der Sicherheit:
Selbst die fortschrittlichsten neuronalen Netze garantieren keinen sicheren Betrieb. Vielmehr entscheidet die umgebende eingebettete Software, wie die KI-Ausgaben interpretiert, eingeschränkt, validiert oder überschrieben werden.
Betrachten wir ein autonomes Fahrzeug. Dessen Wahrnehmungsmodell kann Hindernisse erkennen, aber vertrauenswürdiger C++-Code muss diese Erkennungen anhand physikalischer Gesetze validieren, Konfidenzniveaus überwachen, redundante Sensoren gegenprüfen und bei zunehmender Unsicherheit einen Ausweichmechanismus auslösen.
Gleiches gilt für eine medizinische KI. Sie kann eine Diagnose empfehlen, aber deterministische Schutzmechanismen stellen sicher, dass die Empfehlung innerhalb sicherer, klinisch festgelegter Grenzen bleibt.
Deshalb sind klassische Softwareentwicklungsdisziplinen wichtiger denn je:
Diese Disziplinen sind nicht überholt – sie bilden das Vertrauensgerüst, das die Sicherheit der KI gewährleistet.
In sicherheitskritischen eingebetteten Systemen liefert KI die notwendige Intelligenz. C und C++ stellen die Kontrollmechanismen bereit, die verhindern, dass diese Intelligenz Schaden anrichtet.
Um das zu verdeutlichen, betrachten wir ein Beispiel für einen typischen Softwarefehler: ein Speicherleck, das zum Absturz der Benutzeroberfläche einer medizinischen Pumpe führt.
Das lässt sich per Unit-Test prüfen. Statische Analyse durchführen. Und beheben. Aber es gibt eine funktionale Schwäche der KI: Ein Wahrnehmungssystem klassifiziert einen Fußgänger nachts falsch, weil nächtliche Gehsituationen im Training unterrepräsentiert waren.
Der Code lief einwandfrei. Das Modell funktionierte fehlerfrei. Trotzdem versagte das System.
Das ist eine Wissenslücke, keine Lücke im Code. Und das verändert alles.
Ihr Entwicklungslebenszyklus muss nun neben der Codekorrektheit auch die Repräsentativität der Daten, die Vollständigkeit der Szenarien, die operativen Grenzen, die Vielfalt der Umgebungen und die Robustheit des Verhaltens berücksichtigen.
Ingenieure müssen sich fragen: Besitzt diese KI ausreichende Kompetenz, um in der realen Welt sicher zu funktionieren? Nicht nur, ob sie korrekt ausgeführt wird?
Für eingebettete sicherheitskritische Organisationen ist der Übergang vom Fehlermanagement zum Mängelmanagement wohl die größte Veränderung seit Normen zur funktionalen Sicherheit selbst entstanden.
KI lediglich als Modell zu betrachten, ist, als würde man eine Rakete bauen und nur den Motor testen. In eingebetteten, sicherheitskritischen Umgebungen ist diese Denkweise gefährlich unvollständig.
KI ist kein eigenständiges Modell. Sie ist ein vernetztes System:
Die Sicherheit lässt sich nicht allein auf Modellebene bewerten. Sie muss in die gesamte Pipeline integriert werden.
Die Vorverarbeitung muss die Zuverlässigkeit der Sensordaten gewährleisten. Das Modell führt Schlussfolgerungen durch. Die Nachverarbeitung validiert die Ergebnisse, führt Plausibilitätsprüfungen durch, setzt Konfidenzschwellenwerte durch und kann Ausweichmechanismen auslösen. Die umgebende Software stellt sicher, dass die Systemziele auch bei unvorhersehbarem Verhalten der KI geschützt bleiben.
Die Ingenieurteams müssen fünf entscheidende Fragen beantworten.
Organisationen, die KI als Modellproblem behandeln, schaffen fragile Systeme. Diejenigen, die sie als ganzheitliche Entwicklungsherausforderung über den gesamten Lebenszyklus hinweg betrachten, schaffen robuste Systeme.
In der traditionellen Softwareentwicklung steht der Quellcode im Vordergrund. In KI-gestützten Systemen sind Daten ebenso entscheidend. Trainingsdaten prägen das Verhalten. Validierungsdaten stärken das Vertrauen. Betriebsdaten prägen zukünftige Anpassungen. Datensätze sind keine passiven Ressourcen mehr – sie sind aktive Bestandteile der Systemsicherheit.
Schlecht verwaltete Datensätze bergen versteckte Risiken:
Diese Schwächen bleiben so lange unsichtbar, bis das System in der realen Welt zum Einsatz kommt. Für sicherheitskritische eingebettete Systeme ist das inakzeptabel.
Daten müssen daher mit der gleichen Sorgfalt wie Software verwaltet werden. Das bedeutet Anforderungsdefinition, Validierungsverfahren, Rückverfolgbarkeit, Gap-Analyse, Versionskontrolle, Wartung und operative Optimierung.
Wem gehört das? Immer häufiger schaffen Unternehmen die Rolle des Data Safety Engineers, also einer Person, die für die Integrität der Datensätze verantwortlich ist, genau wie ein Software Safety Engineer für den Code verantwortlich ist.
Sichere KI hängt ebenso sehr von der Integrität der Datensätze ab wie von der Qualität der Software.
„99 % Genauigkeit“ klingt verlockend, bis man sich bewusst macht, dass 1 % tödlich sein kann. Sicherheitskritische Systeme basieren nicht auf Durchschnittswerten, sondern auf Beweisen. Genauigkeit ist die Überschrift – Sicherheit das Kleingedruckte.
Ein strukturiertes Qualitätssicherungsargument geht weit über eine einzelne Kennzahl hinaus. Es kombiniert:
Um beispielsweise einem autonomen Bremssystem eines Modells vertrauen zu können, müssen Sie Folgendes nachweisen:
Bei eingebetteten sicherheitskritischen Entwicklungen, KI-Sicherheit wird nicht allein durch Genauigkeit bewiesen – es wird durch vielschichtige, lebendige technische Beweise untermauert.
KI reduziert die Verifizierung nicht – sie erweitert sie dramatisch. Traditionelles C/C++ für Einhaltung der funktionalen Sicherheit Die Qualitätssicherung bleibt unerlässlich: Statische Analysen, Codierungsstandards, Unit-Tests, Integrationstests, strukturelle Abdeckung und die Rückverfolgbarkeit von Anforderungen bestätigen die deterministischen Leitplanken rund um die KI.
Aber nun müssen Sie auch Folgendes bewerten:
Dies ist eine zweistufige Strategie. Traditionelle Softwareentwicklung stellt sicher, dass das System korrekt implementiert ist. KI-spezifische Qualitätssicherungsmaßnahmen bestätigen die anhaltende Leistungsfähigkeit des Systems. Zusammen bilden sie den einzig realistischen Weg zu vertrauenswürdiger eingebetteter KI.
In sicherheitskritischen Systemen ist die einmalige Validierung überholt. Künstliche Intelligenz entwickelt sich weiter. Betriebsumgebungen entwickeln sich weiter. Bedrohungen entwickeln sich weiter. Auch die Qualitätssicherung muss sich weiterentwickeln.
CI/CD-Pipelines integrieren nun statische Analysen, Unit-Tests, strukturelle Abdeckung, Modellvalidierung, Bereitstellungssicherungen und iterative Aktualisierungen in laufende Entwicklungsabläufe. Dadurch wandelt sich die Qualitätssicherung von punktuellen Prüfungen hin zu einer kontinuierlichen Steuerung über den gesamten Lebenszyklus.
Die Überwachung nach der Bereitstellung ist ebenso wichtig. Laufzeitanomalienerkennung, Datenerfassung im Feld, Analyse von Modellabweichungen, Steuerung des Nachtrainings und validierte Over-the-Air-Updates sind für die langfristige Sicherheit unerlässlich. Die Bereitstellung ist nicht mehr das Ende, sondern der Beginn einer kontinuierlichen Entwicklungsverantwortung.
KI-Tools können die Codegenerierung, die Testerstellung, die Erweiterung der Testabdeckung und sogar die Fehlerbehebung beschleunigen. Doch sicherheitskritische Entwicklungsprozesse dürfen die Verantwortung nicht an autonome Systeme abgeben.
Menschliches Fachwissen ist nach wie vor erforderlich für Sicherheitsbeurteilungen, architektonische Entscheidungen, Risikobewertungen, die Auslegung von Anforderungen, die Sicherstellung der Mission und die Einhaltung gesetzlicher Vorschriften.
KI ist ein Verstärker der Ingenieurskunst, kein Ersatz dafür. Die erfolgreichsten Unternehmen kombinieren die Produktivität von KI mit menschlicher Führung, um sicherzustellen, dass Innovation niemals die Verantwortlichkeit übersteigt. Gerade in der sicherheitskritischen Entwicklung eingebetteter Systeme entsteht wahres Vertrauen durch dieses Gleichgewicht.
Nutzen Sie diese kurze Checkliste, um die Bereitschaft zu beurteilen.
Wenn Sie nicht alle Kriterien erfüllen, sind Sie nicht für einen sicherheitskritischen Einsatz bereit.
KI liefert Intelligenz. Doch nur disziplinierte Ingenieurskunst schafft Vertrauen. In sicherheitskritischen Systemen ist Vertrauen stets der Schlüssel zum Erfolg.
Der Erfolg wird nicht denjenigen Organisationen gehören, die KI einfach nur schneller einführen. Er wird denjenigen gehören, die KI mit größerer Disziplin integrieren und bewährte C/C++-Entwicklung, Datenverwaltung, architektonische Schutzmaßnahmen, traditionelle Verifizierung, KI-spezifische Qualitätssicherung, kontinuierliche Überwachung, CI/CD-Automatisierung und menschliche Verantwortlichkeit kombinieren.
Künstliche Intelligenz kann die Leistungsfähigkeit erweitern. Doch nur gezielt geschaffenes Vertrauen ermöglicht sichere und zuverlässige Innovationen. Für eingebettete, sicherheitskritische Systeme reicht Intelligenz allein niemals aus.
Erhalten Sie umsetzbare Strategien, um die Einführung von KI in sicherheitskritischen eingebetteten Systemen von der Theorie in geschaffenes Vertrauen zu transformieren.
Weiterführende Inhalte
