Risikomanagement: Datenschutz-Folgenabschätzung für Generative KI

Insbesondere in den letzten Wochen konnte man verfolgen, dass generative KI in einer Reihe von Gebieten zum Einsatz kommen kann. Mit diesem Einsatz kommt jedoch auch eine Reihe an Risiken, mit denen sich Verantwortliche auseinandersetzen müssen. In diesem Beitrag soll daher die Datenschutz-Folgenabschätzung („DSFA“) nach Art. 35 DSGVO im Hinblick auf generative KI näher beleuchtet werden.

Die DSFA bietet Verantwortlichen die Möglichkeit zu prüfen, wie und warum sie generative KI zur Verarbeitung personenbezogener Daten einsetzen und welche potenziellen Risken damit verbunden sind. Diese Abschätzung dient Verantwortlichen nicht nur im Hinblick auf die Einhaltung ihrer Pflichten nach der DSGVO, sondern auch als Vorbereitung auf die kommende KI-Verordnung der EU.

Muss für generative KI eine Datenschutz-Folgenabschätzung durchgeführt werden?
Eine DSFA muss immer dann durchgeführt werden, wenn die Verarbeitung personenbezogener Daten voraussichtlich zu einem hohen Risiko für die Rechte und Freiheiten natürlicher Personen führt. Dies insbesondere bei der Verwendung neuer Technologien (Art. 35 Abs. 1 DSGVO). In den meisten Fällen dürfte die Durchführung einer DSFA für generative KI angezeigt sein.
Art. 35 Abs. 3 DSGVO benennt drei gesetzlich geregelte Fälle, bei denen die Pflicht zur Durchführung der DSFA besteht:
 

• Bei systematischer und umfassender Bewertung persönlicher Aspekte natürlicher Personen, die sich auf automatisierte Verarbeitung einschließlich Profiling gründet und die ihrerseits als Grundlage für Entscheidungen dient, die Rechtswirkung gegenüber natürlichen Personen entfalten oder diese in ähnlich erheblicher Weise beeinträchtigen;
• bei umfangreicher Verarbeitung besonderer Kategorien von personenbezogenen Daten gemäß Artikel 9 Absatz 1 oder von personenbezogenen Daten über strafrechtliche Verurteilungen und Straftaten gemäß Artikel 10 oder
• bei systematischer umfangreicher Überwachung öffentlich zugänglicher Bereiche.

Neben diesen Fällen können nach Art. 35 Abs. 4 DSGVO die Aufsichtsbehörden Listen mit Verarbeitungsvorgängen erstellen, für die eine DSFA durchzuführen ist. Eine dieser Listen wurde von der Datenschutzkonferenz erstellt, auf deren Basis z.B. der Landesbeauftragte für den Datenschutz und die Informationsfreiheit Baden-Württemberg seine Liste erstellt hat. Im Hinblick auf generative KI fallen hier insbesondere die folgenden Nummern ins Auge.
 

• Nr. 1 DSK (Nr. 3 LfDI) benennt die umfangreiche Verarbeitung von Daten, die dem Sozial-, einem Berufs- oder besonderen Amtsgeheimnis unterliegen. Als Beispiele werden hier eine große Anwaltssozietät, Träger von sozialen Einrichtungen sowie ein Verzeichnis über Privatinsolvenzen genannt.
• Nr. 5 DSK (Nr. 3 LfDI) benennt die Zusammenführung von personenbezogenen Daten aus verschiedenen Quellen und Verarbeitung der so zusammengeführten Daten z.B. für Scoringzwecke.
• Nr. 11 DSK benennt den Einsatz künstlicher Intelligenz im Kundensupport zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person. Hierunter würde auch der Einsatz generativer KI im Bereich von Chatbots gehören.
• Nr. 13 DSK (Nr. 9 und 11 LfDI) benennt die automatisierte Auswertung von Video- oder Audioaufnahmen zur Bewertung der Persönlichkeit der Betroffenen z.B. in einem Callcenter, um die Stimmungslage des Anrufenden zu beurteilen bzw. um deren Persönlichkeit zu beurteilen.

Ferner sind die Leitlinien der Art. 29-Datenschutzgruppe zur Datenschutz-Folgenabschätzung (DSFA) und Beantwortung der Frage, ob eine Verarbeitung im Sinne der Verordnung 2016/679 „wahrscheinlich ein hohes Risiko mit sich bringt“ (WP 248 rev. 01) sehr hilfreich.

Wann ist die DSFA durchzuführen?
Sinn und Zweck der Durchführung einer DSFA ist, dass Verantwortliche anhand des Ergebnisses eine Entscheidung in Bezug auf die Verarbeitungsvorgänge treffen können. Zeitlich muss die DSFA daher vor dem Einsatz der generativen KI, mithin vor der ersten Verarbeitung personenbezogener Daten, erfolgen, um Sinn und Zweck der Durchführung einer DSFA zu entsprechen. Dabei muss jedoch auch angemerkt werden, dass die DSFA keine einmalige Prozedur ist, sondern einen kontinuierlichen Prozess darstellt, der wiederholt werden sollte, wenn sich wesentliche Merkmale ändern, aufgrund derer eine neue Risikoabwägung vorzunehmen ist. Dies können zum Beispiel neue Einsatzgebiete der KI sein.

Worauf kommt es bei der DSFA für generative KI an?
Während Art. 35 Abs. 7 DSGVO den Mindestinhalt der DSFA enthält, ist vor allem eines entscheidend: Das nachvollziehbare Zusammenspiel von Maßnahmen und Risiken, welches in der durchgeführten DSFA widergespiegelt werden sollte. Die DSFA sollte zeigen, dass die analysierten Risiken mit angemessenen Maßnahmen adressiert werden.

Als Hilfestellung bei der Durchführung kann auf das DSFA-Tool der französischen Datenschutzaufsichtsbehörde, CNIL, zurückgegriffen werden. Die CNIL hat eine sog. PIA (Privacy Impact Assessment) Software erstellt, mit der Verantwortliche bei der Erstellung einer DSFA unterstützt werden sollen. Diese Software ist jedoch mit Vorsicht zu genießen. Es wird noch nicht die spezifischen Fragen enthalten, deren Beantwortung für generative KI notwendig sind und sollte daher auf die Berücksichtigung der spezifischen Risiken generativer KI hin überprüft und gegebenenfalls angepasst werden.  

Die Durchführung einer DSFA für den Einsatz generativer KI
Die Schritte zur Durchführung einer DSFA für Datenverarbeitungen durch generative KI sind dieselben wie bei anderen Verarbeitungsvorgängen. Orientiert werden kann sich hier an den Vorschlägen der Datenschutzkonferenz (Kurzpapier Nr. 5). Der Prozess der DSFA lässt sich dabei in drei Phasen unterteilen: Die Vorbereitung, die Durchführung und die Nachbereitung bzw. Überprüfung.

1. Die Vorbereitung der DSFA
Bevor mit der eigentlichen Durchführung der DSFA begonnen wird, sollten die Use Cases identifiziert werden, bei denen generative KI zum Einsatz kommen soll. Diese sollten zusammen mit den jeweiligen Fachabteilungen herausgearbeitet und deren konkrete Anwendungsbereiche detailliert beschrieben werden. Dies hilft, eine uferlose Anwendung generativer KI zu vermeiden und klare Grenzen und Zwecke festzulegen, wofür und wofür gerade nicht, die generative KI eingesetzt werden soll.

Außerdem sollte festgehalten werden, welche Personen von dem Einsatz der generativen KI betroffen sind, Art. 35 Abs. 9 DSGVO, und inwiefern die Nutzung der generativen KI überhaupt mit personenbezogenen Daten zusammenhängt bzw. wie solche verarbeitet werden. Nicht in jeder Nutzung generativer KI werden zwangsläufig personenbezogene Daten verarbeitet, was allerdings nicht dazu führen sollte, dass eine DSFA gänzlich unterlassen wird. Sofern die Möglichkeit besteht, dass durch den Einsatz generativer KI personenbezogene Daten verarbeitet werden, sollte dies in der DSFA dargestellt und gleichzeitig dokumentiert werden, mit welchen Maßnahmen solche potenziellen Verarbeitungen verhindert werden, z.B. mit internen Richtlinien für die Mitarbeiter.

Zusätzlich kann in diesem Schritt festgestellt werden, ob für mehrere geplante Einsätze generativer KI womöglich nur eine DSFA gemäß Art. 35 Abs. 1 S. 2 DSGVO durchzuführen ist. Hiernach reicht die Durchführung einer DSFA für mehrere ähnliche Verarbeitungsvorgänge mit ähnlich hohen Risiken (vgl. auch Erwägungsgrund 92 zur DSGVO). Wichtig bei der Erstellung der Use Cases sind auch die Überlegungen, ob alternative Vorgehensweisen zur Verfügung stehen und wenn ja, warum der Einsatz der generativen KI vorzugswürdig ist und wie deren Einsatz für die festgelegten Use Cases im Verhältnis zu dem Eingriff in die Rechte und Freiheiten der Betroffenen steht. Bereits bei der Erstellung dieser Informationen zu den Use Cases lohnt es sich auch die in Betracht kommenden Rechtsgrundlagen für den Einsatz der generativen KI festzulegen. Einen guten Überblick zu den in Betracht kommenden Rechtsgrundlagen bietet der Artikel meiner Kollegin Carolin Wagner.

Ferner sollten vor Durchführung der DSFA die zu beteiligenden Personen und Stellen bestimmt werden, damit diese im Prozess der DSFA ausreichend beteiligt sind. Dies beinhaltet zum einen die Festlegung, wer der Verantwortliche ist und zum anderen, die Beteiligung des Datenschutzbeauftragten nach Art. 35 Abs. 2 DSGVO und die jeweiligen Personen aus den betroffenen Fachabteilungen. Gerade Unternehmen mit Matrix Strukturen, bei denen generative KI unternehmensübergreifend zum Einsatz kommen, sollten genau herausarbeiten, welche Gesellschaft die datenschutzrechtliche Verantwortliche ist.

2. Die Dokumentation der DSFA
Die eigentliche DSFA besteht aus der Identifizierung und Beurteilung der möglichen Risiken und der Ermittlung und Auswahl geeigneter Maßnahmen zur Minimierung dieser Risiken.

"Ein Risiko im Sinne der DSGVO ist das Bestehen der Möglichkeit des Eintritts eines Ereignisses, das selbst einen Schaden (einschließlich ungerechtfertigter Beeinträchtigungen von Rechten und Freiheiten natürlicher Personen) darstellt oder zu einem weiteren Schaden für eine oder mehrere natürliche Personen führen kann. Es hat zwei Dimensionen: Erstens die Schwere des Schadens und zweitens die Wahrscheinlichkeit, dass das Ereignis und die Folgeschäden eintreten." – Datenschutzkonferenz, Kurzpapier Nr. 18, S. 1.

Mögliche Risiken beim Einsatz generativer KI reichen von der Verarbeitung der personenbezogenen Daten zu unerwünschten bzw. unvorhersehbaren Zwecken, wie der Erstellung von Profilen oder der Verwendung der Daten zu Trainingszwecken der KI, bis hin zur Einhaltung von Speicherfristen und der Umsetzung von Löschersuchen und anderen Betroffenenrechten. Mit letzteren setzt sich meine Kollegin Johanna Klingen in ihrem Blogbeitrag ausführlich auseinander.

Wurden die Risiken identifiziert, so müssen deren Eintrittswahrscheinlichkeit und die Schwere möglicher Schäden abgeschätzt werden. Bei der Verwendung von generativer KI sollten für diese Abschätzung die von den Anbietern der generativen KI zur Verfügung gestellten Informationen ausführlich überprüft werden. Oftmals finden sich in den Terms of Service und den anderweitig zur Verfügung gestellten Informationen wichtige Anhaltspunkte dazu, wie die KI funktioniert und was die Anbieter mit Eingabedaten und den Prompts, den Outputs, machen dürfen. Gerade auf letzteres sollte ein besonderes Augenmerk gerichtet werden. Verantwortliche sollten bereits bei der Auswahl unter mehreren Optionen generativer KI darauf achten, wie die Anbieter die Eingabedaten und die Prompts (weiter-)verarbeiten dürfen bzw. welche Möglichkeiten bestehen, um diese Rechte der Anbieter einschränken zu können.

Neben den Anbietern als Risikoquelle kommen auch die Anwender der generativen KI selbst als Risikoquelle in Betracht. Letztendich bestimmt der Anwender, welche Daten er der generativen KI und somit potenziell auch den Anbietern zur Verfügung stellt. Die identifizierten möglichen Risiken sollten zuletzt in verschiedene Risikoabstufungen, von geringem hinzu hohem Risiko, eingeteilt werden. Diese Zuordnung bestimmt sich nach der Eintrittswahrscheinlichkeit und der möglichen Schäden. Erwähnenswert in diesem Zusammenhang ist, dass die Verarbeitung von Daten schutzbedürftiger Personen, wozu Beschäftigte gezählt werden, nach dem Landesbeauftragten für den Datenschutz und die Informationsfreiheit Rheinland-Pfalz für die Annahme eines hohen Risikos sprechen.

Sinn und Zweck der Durchführung der DSFA ist, dass die identifizierten Risiken mit angemessenen Maßnahmen durch den Verantwortlichen adressiert werden. Hierzu gehört grundsätzlich die Einhaltung der Grundsätze der Datenverarbeitung nach Art. 5 DSGVO und die Einrichtung eines Datenschutzmanagementsystems. Die identifizierten betroffenen Personen sollten über die stattfindenden Verarbeitungsvorgänge informiert werden und interne Richtlinien und Trainings können dabei unterstützen einen verantwortungsvollen Umgang mit personenbezogenen Daten im Unternehmen zu etablieren. Insbesondere im Hinblick auf den Umgang mit neuen Technologien sollten Mitarbeiter darauf geschult werden, wie mit generativer KI verantwortungsvoll umgegangen werden kann. Eine wichtige Maßnahme ist z.B., dass Mitarbeiter darauf geschult werden, welche Daten als Eingabedaten bei generativer KI verwendet werden dürfen bzw. ob Eingabedaten zu anonymisieren sind. Zusätzlich müssen Mitarbeiter darauf sensibilisiert werden, wie mit den Outputs umzugehen ist und dass diese vor einer weiteren Verwendung einer menschlichen Kontrolle unterzogen werden sollten. 

3. Die kontinuierliche Überprüfung der DSFA
Die Einhaltung der DSGVO muss während der gesamten Dauer der Verarbeitungsvorgänge fortlaufend überwacht werden. Das bedeutet für die DSFA, dass diese kontinuierlich auf ihre Aktualität hin überprüft werden muss. Wenn sich die Umstände des Einsatzes der generativen KI ändern, sollte die DSFA angepasst werden, sofern sich durch die geänderten Umstände die Risikobeurteilung verändert hat. Dies können große Veränderungen sein, wie neue Einsatzgebiete der generativen KI, aber auch kleinere Veränderungen, wie Softwareupdates oder neue Informationen durch die Anbieter.

Ein Ausblick auf die KI-VO
Auch im Hinblick auf die kommende KI-Verordnung der EU lohnt sich die Risikobeurteilung und Dokumentation mit der DSFA. Die KI-VO enthält diverse Pflichten und eine hiervon ist die Einrichtung, Anwendung, Dokumentation und Anwendung eines Risikomanagementsystems für Hochrisiko-KI-Systeme (Art. 9 Abs. 1 KI-VO). Dieses System ist kontinuierlich während des gesamten Lebenszyklus des KI-Systems aufrechtzuerhalten und zu aktualisieren (Abs. 2). Wesentlicher Bestandteil dieses Risikomanagementsystems ist die Ermittlung und Analyse der Risiken, deren Abschätzung und Bewertung sowie das Ergreifen von Maßnahmen. Die Pflicht gilt zwar nur für Hochrisiko-KI-Systeme, doch es lohnt sich dies bereits jetzt im Hinterkopf zu behalten, z.B. wenn generative KI im Bereich des Bewerbermanagements eingesetzt werden soll (vgl. Nr. 4a) Anhang III zur KI-VO).