Munscheidstr. 14 in 45886 Gelsenkirchen

Jetzt anrufen 0209 - 8830 6760

Sicherheitslücken in KI-Systemen: Wenn der Verteidiger angegriffen wird!

Jonas Michl

Systeme, welche mit einer künstlichen Intelligenz verwendet werden, sollen nicht nur im Alltag einen Nutzer zum Beispiel beim Autofahren unterstützen, sondern können auch IT-Sicherheitsexperten bei einer Analyse unterstützen. Eine gut angelernte KI kann viel schneller Systeme auf verschiedene Lücken hin überprüfen als ein Mitarbeiter. Doch was passiert, wenn die KI selbst eine Sicherheitslücke hat?

Die Sicherheitslücken in KI durch Manipulation

Bekommt ein Angreifer A zum Beispiel mit, dass in Firma B eine KI zum Einsatz kommt, kann er diese gezielt als eigenes Schlupfloch verwenden. Häufig verwendet man hier den Angriffsvektor der Testdatenmanipulation. Jede KI muss zunächst anhand von Testdaten angelernt werden.

Beispielsweise muss ein 100 km/h Schild zunächst klassifiziert werden und anhand von verschiedenen Bildern in verschiedenen Situationen angebracht werden. Anschließend soll die KI eine entsprechende Reaktion wie z.B. Bremsen oder Beschleunigen eines Fahrzeugs durchführen.

Schafft ein Angreifer im Testvorgang die Daten so zu manipulieren, dass ein 100 km/h Schild als 10 km/h Schild erkannt wird, so würde das Fahrzeug auf der Autobahn plötzlich anfangen auf 10km/h zu Bremsen, was zu einer Gefahrensituation führt.

Bezieht man dieses Gedankenbeispiel zurück auf die IT-Sicherheit, kann zum Beispiel beim Lernen zur Erkennung schlechter Passwörter alle Daten zu Zahlenfolgen entfernt werden und die KI würde „123456“ nicht als schlechtes Passwort erkennen.


Erkennen Sie zuverlässig Phishing E-Mails?

Jetzt das AWARE7 Phishing Quiz absolvieren
und das eigene Wissen überprüfen!


KI-Infrastruktur beeinflussen

Aber nicht nur Testdaten können von einem Angreifer manipuliert werden, auch die KI-Infrastruktur muss entsprechend gesichert sein. Ist es möglich, die KI während der Ausführung zu beeinflussen, so können falsche Testergebnisse erzeugt werden oder anderweitig Störungen wie eine hohe Auslastung des Netzwerks auftreten.

Auch die Testergebnisse selbst sollten vor dritten ausreichend geschützt werden, denn sollte die KI eine kritische Sicherheitslücke finden, darf ein Angreifer nichts darüber erfahren, bis diese geschlossen wurde.

Daher muss die KI möglichst Transparent für verschiedene IT-Sicherheitsleute gemacht werden und genau analysiert werden, damit mögliche Sicherheitslücken der KI selbst aufgedeckt werden können. Das daraus herausgearbeitete Sicherheitskonzept muss zu jedem Zeitpunkt angewandt werden.


Hat Ihnen der Beitrag gefallen? Gerne benachrichtigen wir Sie, wenn wir einen neuen Beitrag veröffentlicht haben. Tragen Sie jetzt Ihre E-Mail-Adresse ein. Für Sie entstehen keine Kosten.


Foto des Autors

Jonas Michl

Im Rahmen meines Studiums habe ich große Teile meiner praktischen Arbeit bei der AWARE7 GmbH geleistet. Zusätzlich habe ich dem Content Marketing Team zugearbeitet.