Die EU-KI-Verordnung – Teil 3: Das Hochrisikosystem

Die EU plant, eine Führungsposition bei der Regulierung von künstlicher Intelligenz einzunehmen. Dazu setzt sie schrittweise die 2018 selbst gesteckten Ziele um. Hierzu folgt auf das KI-Weißbuch aus dem Februar 2020 der am 21. April 2021 veröffentlichte Entwurf der Kommission für eine KI-Verordnung. Brüssel hofft damit auf den nächsten großen Wurf nach der DSGVO, die selbst Kalifornien ein Datenschutzrecht bescherte und weltweit als Standard gilt.
 

Hochrisikosysteme

Absolutes Kernelement des Verordnungsvorschlags ist der Begriff des Hochrisiko-KI-Systems – denn an ihm hängt ein umfangreicher Katalog von Regulierungsanforderungen für Anbieter, Importeure und Nutzer. Damit will der Unionsgesetzgeber KI-Systemen begegnen, die als besonders risikoreich eingestuft werden, weil sie eine Bedrohung für die Gesundheit, die Sicherheit oder die Ausübung von Grundrechten darstellen. Zur Einstufung des Risikos werden dabei nicht nur die Funktion des KI-Systems, sondern auch der Zweck und die Umstände der Anwendung herangezogen.

Dabei kann ein KI-System auf zwei Wegen als Hochrisikosystem eingestuft werden:

• Zunächst gelten KI-Systeme als Hochrisikosysteme, wenn sie als Sicherheitskomponente eines Produktes eingesetzt werden, welches nach EU-Vorschriften durch Dritte kontrolliert werden muss bevor es in Verkehr gebracht werden darf, oder wenn das System selbst ein solches Produkt ist.
• Darüber hinaus sind aber auch KI-Systeme von dem Begriff erfasst, die in Anhang III des Entwurfs benannt sind. Anhang III ist entwicklungsoffen: die EU-Kommission soll die Befugnis erhalten, den Anhang per delegiertem Rechtsakt zu modifizieren oder zu erweitern – immer vorausgesetzt, ein KI-System erfüllt die allgemeinen Kriterien an ein Hochrisiko-System, d.h. kann eine Bedrohung für die Gesundheit, die Sicherheit oder die Ausübung von Grundrechten darstellen.

In Anbetracht der zum Teil kosten- und aufwandsintensiven Compliance-Anforderungen und hohen Bußgeldrisiken dürften vor allem die Anbieter ein starkes Bedürfnis danach haben, genau bestimmen zu können, ob ihr KI-System als Hochrisikosystem eingestuft werden muss oder nicht.
Angesichts der oft weiten Definitionen und des hohen Abstraktionsgrads ist die Sorge berechtigt, dass es hier zu großer Unsicherheit kommen kann – und damit zu einem "Chilling Effect", da Anbieter aufgrund des Risikos einer Fehleinschätzung im Grenzbereich zwischen "Low Risk" und "High Risk" von bestimmten Vorhaben lieber Abstand nehmen. Dies gilt vor allem im Bereich von KMU und Start-Ups, da kleinere Unternehmen oft nicht die Ressourcen zur Verfügung haben, um eine entsprechende Schwellenwertanalyse durchzuführen.

Anhang 3

Anhang 3 bezeichnet eigenständige KI-Systeme, bei denen sich ein Risiko bereits gezeigt hat oder zumindest absehbar ist. Hier zeigt sich der mehrdimensionale Risiko-Ansatz der Vorschrift: Zum einen wird das Risiko anhand der Funktionsweise der KI bestimmt. So gelten etwa KI-Systeme, die Personen anhand von biometrischen Daten identifizieren, als Hochrisikosysteme. Zum anderen kann auch der Sektor, in dem ein System eingesetzt wird, eine Bewertung als Hochrisikosystem auslösen. Dies betrifft KI-Systeme, die bei kritischer Infrastruktur (Gas, Wasser, Strom, etc.) eingesetzt werden, sowie bei Bildung, Beschäftigung, Zugang zu grundlegenden Diensten und Leistungen, Strafverfolgung, Migration, Asyl und in der Rechtspflege. Dabei ist es der Kommission vorbehalten, weitere KI-Systeme zu dieser Liste hinzuzufügen, sofern sie unter die bereits bestehenden Bereiche fallen und ein vergleichbares Risiko darstellen. Einen vollkommen neuen Bereich von Hochrisikosystemen kann die Kommission damit nicht schaffen. Nicht erfasst ist zum jetzigen Zeitpunkt der Einsatz zu medizinischen Zwecken, etwa in der Diagnostik. Zwar wird es sich bei den KI-Systemen in diesem Bereich oft um Sicherheitskomponenten handeln, aufgrund des hohen Gefährdungspotentials wäre eine ausdrückliche Erfassung aber naheliegend.

Regulatorische Anforderungen an Hochrisikosysteme

Sobald ein KI-System als Hochrisikosystem eingestuft ist, muss es eine Reihe von Anforderungen erfüllen:

• Ein Risikomanagement-System muss eingerichtet werden, welches über den gesamten Lebenszyklus des KI-Systems eine Risikobewertung und die Ergreifung von Maßnahmen zur Risikobekämpfung sicherstellt.
• Hohe Anforderungen an die Datenqualität: Daten, die zu Lernprozessen genutzt werden ("machine-learning"), müssen relevant, repräsentativ, fehlerfrei und vollständig sein. In den Erwägungsgründen wird diese – in Hinblick auf die tatsächliche Umsetzbarkeit – ambitionierte Forderung allerdings relativiert: Datensätze müssen die Anforderungen "hinreichend" erfüllen.
• Die Verordnung begegnet in diesem Zusammenhang der Gefahr von Diskriminierung durch KI-Systeme. Nicht repräsentative Datensätze können zu einer unbewussten Verzerrung von Ergebnissen ("Bias") führen, die ohne genaue Dokumentation der genutzten Daten schwer zu erkennen ist. Um solche Bias zu erkennen und zu vermeiden, gewährt die Verordnung den Anbietern von KI-Systemen eine Ausnahme von einem grundsätzlichen Tabubereich der DSGVO: Sie haben die Möglichkeit zu diesen Zwecken personenbezogene Daten zu nutzen, aus denen etwa ethnische Herkunft oder sexuelle Orientierung einer Person hervorgehen.
• Umfangreiche technische Dokumentationen, aus denen hervorgeht, dass das KI-System den Anforderungen an Hochrisikosysteme genügt, sowie eine Protokollierung des Betriebs über die gesamte Lebensdauer des KI-Systems.
• Transparenz: Nutzern gegenüber müssen eine Reihe von klar definierten Informationen über das System und den Anbieter angegeben werden.
• Hochrisiko-KI-Systeme müssen zudem ein "angemessenes" Maß an Genauigkeit, Robustheit und Cybersicherheit erfüllen und beibehalten.

Zudem müssen Hochrisiko-KI-Systeme durch den Anbieter für eine Beaufsichtigung durch Menschen konzipiert werden. Dies dient der Begrenzung von Risiken, die trotz der Auflagen weiterbestehen. Bei Systemen zur biometrischen Identifikation ist zudem ein "Vier-Augen-Prinzip" vorgeschrieben: Wenn das KI-System ein Ergebnis liefert, müssen zunächst zwei Menschen das Ergebnis bestätigen, bevor aufgrund dessen Maßnahmen getroffen werden. Gerade diese Anforderungen machen den technologischen Effizienzgewinn zum Teil wieder zunichte und dürften dazu führen, dass in diesen Bereichen KI-Unterstützung unter ihren Möglichkeiten bleibt. Zu diskutieren wäre jedenfalls, ob möglichen Fehlern der KI nicht auch durch Beschwerdesysteme oder ähnliche, dem KI-Einsatz nachgelagerte Prozesse genauso effektiv begegnet werden kann.  
Die Pflichten zur menschlichen Aufsicht richten sich dabei primär an die Anbieter. Sie müssen die Aufsicht technisch ermöglichen und bestimmen auch in welcher Form der Nutzer sie umsetzt. Der Nutzer muss sich dabei lediglich an die Gebrauchsanweisung des Anbieters halten. Eine darüber hinaus gehende Pflicht des Nutzers besteht, wenn er Grund zu der Annahme hat, dass von dem System ein Risiko für die Gesundheit und Sicherheit von Personen ausgeht. In diesem Fall muss er den Anbieter oder Händler informieren und darf das System vorerst nicht weiter verwenden.

Dieser Artikel ist der dritte Teil einer Serie zur geplanten KI-Verordnung der Europäischen Union.
Die EU-KI-Verordnung – Teil 1: Überblick und Struktur
Die EU-KI-Verordnung – Teil 2: Das "KI-System"​
Autoren: Stephan Zimprich, Partner, Fieldfisher; Yannick Häntzschel, Wissenschaftlicher Mitarbeiter