Geschäftsrisiko KI: Wie lassen sich Risiken steuern?

Führungskräfte, insbesondere Chief Information Security Officers (CISOs), Chief Information Officers (CIOs) und auch Geschäftsführer (CEOs) und Aufsichtsgremien stehen vor vielen Herausforderungen aktuell. Im Bereich der generativen KI (beispielsweise ChatGPT, Notion.AI, Jasper.AI oder Midjourney) stehen Sie aktuell meistens auf der Rückseite der Technologie-Adoptionskurve, während Mitarbeiter und die Gesellschaft generative KI Technologien rasant annehmen und nutzen. Dennoch muss das Geschäftsrisiko KI verstanden werden.

Grundsätzliche Risiken durch generative KI

GenKI gehört in den ersten Monaten des Jahres 2023 zu den größten Bedenken unter Sicherheitsverantwortlichen und Verantwortlichen in Deutschland. Zentrale Fragen, die sich die Verantwortlichen aktuell stellen sind:

• Wer nutzt welche generative KI in meiner Organisation und zu welchem Zweck?
• Wie kann ich Unternehmensinformationen (Interne und externe Daten) schützen, wenn Mitarbeiter mit GenKI interagieren?
• Welche Sicherheitsrisiken bestehen für die Organisation neben datenschutzrechtlichen Risiken?
• Wie kann ich die Sicherheitsrisiken der zugrundeliegenden Technologie managen?
• Wie finde ich das Gleichgewicht zwischen den Sicherheitskompromissen und dem Nutzen den die Technologien bieten?

Diese Fragen wollen wir im folgenden näher beleuchten. Hierfür betrachten wir eingangs die Bedrohungen für Unternehmen, welche dann zu Geschäftsrisiken führen.

Bedrohungen im Wandel

GenKI hat in nie dagewesener Geschwindigkeit neue Sicherheitsrisiken eingeführt aufgrund der äußerst schnellen Verbreitung, der Benutzerfreundlichkeit, einem hohen Wertversprechen und daraus resultierendem, enormem Potenzial für die Förderung von Geschäftszielen von nahezu jedem Unternehmen. In einem vorherigen Blogbeitrag haben wir explizit die Risiken fokussiert, welche durch die Nutzung von ChatGPT konkret für das Thema Phishing entstehen.

Folgende Vorteile bietet die generative KI im Vergleich zu traditionellen KI-Anwendungen:

• Intuitive Interaktion und ein komplett neuartiges und doch bekanntes Modell zur Erstellung von Inhalten
• Zugänglich für alle, da zumindest Basismodelle in der Regel öffentlich zugänglich und für jeden mit einer Internetverbindung nutzbar sind
• Benutzerfreundlichkeit, da sie natürliche Sprache verwenden. Nutzer haben das Gefühl mit einer anderen Person zu sprechen
• Geschwindigkeit und Agilität durch die Fähigkeit Millionen von Seiten an Informationen in einem einzigen Absatz zusammenfassen.
• Integration mit Anwendungen von Drittanbietern durch zum Beispiel Browser-Plugins

Geschäftsrisiko KI im Allgemeinen

Durch die mannigfaltigen Anwendungsfälle von generativer KI ist es nur natürlich, dass es auch eine Kehrseite der Medaille gibt. Diese Seite weist wiederum verschiedene Ausprägungen technologischer, prozessualer rechtlicher und regulatorischer Risiken auf. Im folgenden wollen wir ein paar generische Risiken darstellen und was diese im Allgemeinen für Organisationen bedeuten können. Unternehmen und Verantwortliche können proaktive Maßnahmen ergreifen, um die potenziell negative Auswirkung der Nutzung von GenKI zu minimieren und sicherzustellen, dass sie dieses leistungsstarke Werkzeug auf sichere, rechtskonform und verantwortungsvoll nutzen.

Wie immer beim Risikomanagement müssen Sie basierend auf Ihren Bedürfnissen und Ihrem Risikoappetit entscheiden, ob und in welcher Form Sie GenKI nutzen wollen und können. Zum aktuellen Zeitpunkt können große Sprachmodelle (LLMs) sich nicht in Echtzeit aktualisieren und daher nicht die Eingaben eines Benutzers in die Antwort eines anderen einfließen lassen, wasmanche Bedenken eventuell schon effektiv entkräftet. Allerdings besteht die Möglichkeit das einzelne Nutzer Daten aus einem LLM löschen lassen, und dies Auswirkungen für andere Nutzer mit demselben Namen haben könnte.

Datenschutz und Vertraulichkeit von Daten

Der Datenschutz und die Vertraulichkeit von Daten sind vorallem für zwei Typen von Daten entscheidend: Nicht-öffentliche Unternehmens- und Privatdaten von einzelnen MitarbeiterInnen. D

Unternehmen und insbesondere die MitarbeiterInnen könnten mit GenKI sensible Daten wie geistiges Eigentum, Quellcode, Geschäftsgeheimnisse und andere Daten verarbeiten, einschließlich Kundendaten oder privater und vertraulicher Informationen. Wenn vertrauliche und private Daten außerhalb der eigenen Server der Organisation verarbeitet werden, ähnlich wie bei der Cloud, bestehen rechtliche und Compliance-Risiken sowie Risiken bei der Vertraulichkeit. Ein solches Risiko kann aus vertraglichen oder regulatorischen Verpflichtungen wie der CCPA, der DSGVO oder HIPAA resultieren. Diese Arten von Expositionen werden in der folgenden Diskussion hervorgehoben, um ein informiertes Risikomanagement und -management zu unterstützen.

Obwohl Daten, die a GenKI-Technologien wie ChatGPT gesendet werden, effektiv einem Drittanbieter-SaaS, insbesondere OpenAI, anvertraut wurden, werden sie derzeit nicht in Echtzeit in das LLM aufgenommen und somit für andere Benutzer nicht sichtbar. Derzeit scheint es unwahrscheinlich, dass GenKI-Plattformen Benutzereingaben zur Schulung zukünftiger Modelle verwenden werden. Wie bereits diskutiert ist aber ein Löschen einzelner Daten durchaus möglich. Laut der Unternehmensdokumentation von OpenAI wird Inhalt, der über ihre API eingereicht wird, nicht länger als 30 Tage aufbewahrt. Dies könnte jedoch je nach Risikoappetit, bereits einige Organisationen beim Einsatz solcher Tools beeinflussen und das Geschäftsrisiko KI sollte diskutiert werden.

Drittanbieter- und SaaS-Risiko

Durch die weite Verbreitung und Integration von GenKI nicht nur in hauseigenen sondern auch in Drittanbieter-Anwendungen, könnte ein weiteres, in Bezug zum Geschäftsrisiko KI entstehendes Risiko sein, dass Daten häufiger und weniger vorhersehbar als bisher mit Dritten geteilt werden könnten.

• Im Zusammenhang mit der Software Lieferkette können gestiegene Risiken bei der Auslagerung an Dienstleister zu höheren Risiken führen
• Wenn die eigenen Systeme und Infrastrukturen der GenKI-Plattform nicht sicher sind, könnten potenzielle Datenverletzungen auftreten und zu Preisgabe sensibler Informationen führen.
• GenKI und insbesondere ChatGPT werden schnell in viele Drittanbieter-Plattformen und Anwendungen integriert. Daher konzentriert sich das Risiko nicht nur auf einen einzigen Service. Dadurch entstehen zahlreiche Abhängigkeiten von der korrekten funktionsweise von ChatGPT, welche das Risiko einer Nicht-Verfügbarkeit von ChatGPT nicht überschaubar machen
• Angesichts der aktuell überschaubaren und grundsätzlich endlichen Anzahl verfügbarer GenKI-Plattformen, die für vielfältige Zwecke von vielen Organisationen genutzt werden, also skalierbar sind, stellen ein attraktives Ziel für Angreifer dar, was das Gesamtrisiko der Nutzung erhöht.

Risiken durch Prompt Injections

Wenn Sie selber ein Modell bereitstellen, welches andere Nutzer im Internet verwenden können, stehen Sie ebenfalls vor verschiedenen Herausforderungen. Eine auf der Hand liegende ist die sog. Prompt Injection:

Angreifer könnten Ihre Modelle auf bösrtige Weise nutzen oder die Modelle dazu veranlassen vertrauliche Informationen über das Modell preiszugeben. Dies kann dazu führen, dass Entwicklungsgeheimnisse verloren gehen oder das Modell Aktionen durchführt, die gegen das Designziel verstoßen.

• Angreifer haben die Möglichkeit, erwartetes KI-Verhalten zu umgehen, indem sie gezielt Eingaben manipulieren oder KI-Systeme unvorhergesehene Aufgaben ausführen lassen. Um andere Organisationen und Interessengruppen negativ zu beeinflussen und manipulierte Ergebnisse ohne ihr Wissen zu erhalten, kann dies in GenKI-Systemen durchgeführt werden, was manchmal als „Jailbreaking“ bezeichnet wird.
• Eine kompromittierte Drittanbieter-Anwendung, die eine GenKI-API nutzt, könnte beispielsweise Zugang zu E-Mail- und Webbrowsern auf der Benutzerseite ermöglichen und einem Angreifer erlauben, im Namen eines Benutzers E-Mails zu versenden
• Ein Angriff, der derzeit häufiger beobachtet wird, richtet sich gegen Chatbots eines auf einer Webseite eingebetteten Kundendienstes, welcher mit Injektionsangriffen ins Visier genommen wird. Angreifer versuchen auf diese Weise unbefugten Zugang zu den Systemen eines Unternehmens zu erhalten

Kurz gesagt besteht die Bedrohung für Unternehmensdaten und Modellbetreiber darin, dass Modelle in einer Weise genutzt werden könnten, die unerwünschte Aktionen ermöglicht oder vertrauliche Informationen preisgibt. Dies kann durch bewusst manipulierte Eingaben, schädliche Drittanbieter-Anwendungen oder Angriffe auf Chatbots des Kundendienstes verursacht werden. Daher müssen Unternehmen die eigene Modelle betreiben wachsam sein und effektive Sicherheitsmaßnahmen ergreifen.

Generierung von unsicherem Code

Die Verwendung von GenKI-Code, welcher automatisiert generiert wurde und ohne ausreichende Sicherheitsprüfung in Produktivsysteme überführt wird, birgt verschiedene Risiken und steigert das Geschäftsrisiko KI weiter. Es sind nun potenziell unsichere Komponenten in vielen Systemen integriert worden. Unternehmen müssen dementsprechend sicherstellen, dass sie ausreichende Prüfungs- und Überwachungsmaßnahmen einführen, um diese Risiken zu minimieren. DevSecOps könnte hier eine Maßnahme darstellen, um dieses Risiko zu minimieren.

Braucht es eine Richtlinie zur Eindämmung des Geschäftsrisikos KI?

Die kurze und knappe Antwort lautet: Ja! Für die nachhaltige Absicherung und Evaluierung des Geschäftsrisiko KI braucht es neue, spezifische GenAI-Unternehmensrichtlinien. Diese sollten vorallem dort angesetzt werden, wo bestehende Richtlinien nicht ausreichen. Beispiele für Ergänzungen könntne beispielsweise sein:

1. Eine Richtlinie explizit rund um ChatGPT und die Nutzung des Tools, aufgrund seiner aktuellen Beliebtheit;
2. GenAI im allgemeinen und spezifisch nach der eigenen Branche, beispielsweise Systeme wie Bard, PaLM, GitHub Copilot oder Midjourney;
3. Eine Richtlinie für Produkte und Dienstleistungen von Zulieferern und Partnern, welche GenAI Technologien verwenden;
4. Richtlinien für die interne Entwicklung von KI-Modellen und deren Anwendung sowie dsa Deployment im Feld.

Ein weiteres Beispiel, welches in diesem Kontext oft übersehen wird, wofür es aber auch ein Nutzungs- und Sicherheitskonzept braucht: Einzelne Nutzer oder ganze Geschäftseinheiten könnten Cloud-Dienste oder Plugins, welche Webseiteninhalt zu Cloud Diensten leiten zur Rechtschreibprüfung verwenden. Dadurch werden potenziell verschiedene sensible Daten an einen Drittanbieter weitergeleitet.