2021 / Künstliche Intelligenz / Sicherheitslücke

Sicherheitslücken in KI-Systemen: Wenn der Verteidiger angegriffen wird!

Veröffentlicht am

Systeme, welche mit einer künstlichen Intelligenz verwendet werden, sollen nicht nur im Alltag einen Nutzer zum Beispiel beim Autofahren unterstützen, sondern können auch IT-Sicherheitsexperten bei einer Analyse unterstützen. Eine gut angelernte KI kann viel schneller Systeme auf verschiedene Lücken hin überprüfen als ein Mitarbeiter. Doch was passiert, wenn die KI selbst eine Sicherheitslücke hat?

Die Sicherheitslücken in KI durch Manipulation

Bekommt ein Angreifer A zum Beispiel mit, dass in Firma B eine KI zum Einsatz kommt, kann er diese gezielt als eigenes Schlupfloch verwenden. Häufig verwendet man hier den Angriffsvektor der Testdatenmanipulation. Jede KI muss zunächst anhand von Testdaten angelernt werden.

Beispielsweise muss ein 100 km/h Schild zunächst klassifiziert werden und anhand von verschiedenen Bildern in verschiedenen Situationen angebracht werden. Anschließend soll die KI eine entsprechende Reaktion wie z.B. Bremsen oder Beschleunigen eines Fahrzeugs durchführen.

Schafft ein Angreifer im Testvorgang die Daten so zu manipulieren, dass ein 100 km/h Schild als 10 km/h Schild erkannt wird, so würde das Fahrzeug auf der Autobahn plötzlich anfangen auf 10km/h zu Bremsen, was zu einer Gefahrensituation führt.

Bezieht man dieses Gedankenbeispiel zurück auf die IT-Sicherheit, kann zum Beispiel beim Lernen zur Erkennung schlechter Passwörter alle Daten zu Zahlenfolgen entfernt werden und die KI würde „123456“ nicht als schlechtes Passwort erkennen.

KI-Infrastruktur beeinflussen

Aber nicht nur Testdaten können von einem Angreifer manipuliert werden, auch die KI-Infrastruktur muss entsprechend gesichert sein. Ist es möglich, die KI während der Ausführung zu beeinflussen, so können falsche Testergebnisse erzeugt werden oder anderweitig Störungen wie eine hohe Auslastung des Netzwerks auftreten.

Auch die Testergebnisse selbst sollten vor dritten ausreichend geschützt werden, denn sollte die KI eine kritische Sicherheitslücke finden, darf ein Angreifer nichts darüber erfahren, bis diese geschlossen wurde.

Daher muss die KI möglichst Transparent für verschiedene IT-Sicherheitsleute gemacht werden und genau analysiert werden, damit mögliche Sicherheitslücken der KI selbst aufgedeckt werden können. Das daraus herausgearbeitete Sicherheitskonzept muss zu jedem Zeitpunkt angewandt werden.

Foto des Autors

Chris Wojzechowski

Mein Name ist Chris Wojzechowski und ich habe vor wenigen Jahren meinen Master in Internet-Sicherheit in Gelsenkirchen studiert. Ich bin geschäftsführender Gesellschafter der AWARE7 GmbH und ausgebildeter IT-Risk Manager, IT-Grundschutz Praktiker (TÜV) und besitze die Prüfverfahrenskompetenz für § 8a BSIG. Unser Brot und Buttergeschäft ist die Durchführung von Penetrationstests. Wir setzen uns darüber hinaus für ein breites Verständnis für IT-Sicherheit in Europa ein und bieten aus diesem Grund den Großteil unserer Produkte kostenfrei an.