Die EU-KI-Verordnung – Teil 2: Das "KI-System"​

Die EU plant, eine Führungsposition bei der Regulierung von künstlicher Intelligenz einzunehmen.

Dazu setzt sie schrittweise die 2018 selbst gesteckten Ziele um. Hierzu folgt auf das KI-Weißbuch aus dem Februar 2020 der am 21. April 2021 veröffentlichte Entwurf der Kommission für eine KI-Verordnung. Brüssel hofft damit auf den nächsten großen Wurf nach der DSGVO, die selbst Kalifornien ein Datenschutzrecht bescherte und weltweit als Standard gilt.
 

Das "KI-System" im Verordnungsentwurf

Zentraler Begriff des Verordnungsentwurfs ist das "KI-System". Ein KI-System ist demnach Software, die mit einer oder mehreren der in Anhang I des Entwurfs aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren.

Zu den in Annex I genannten Techniken zählen dann aber nicht nur maschinelles Lernen, sondern auch hergebrachte und vollständig vom Menschen gesteuerte und beherrschte Programmiertechniken wie statistische Ansätze und Such- und Optimierungsmethoden sowie logikgestützte Systeme. Die in Annex I genannten Techniken sind allerdings nicht abschließend; in Art. 4 des Entwurfs behält der Verordnungsgeber sich eine Ergänzung des Katalogs vor, um auf neue technische Entwicklungen reagieren zu können.

Ist eine Software ein "KI-System" im Sinn dieser Definition, fällt die Software in den Anwendungsbereich der geplanten KI-Verordnung – und löst je nach Risikostufe mehr oder weniger umfangreiche Compliance- und Dokumentationspflichten aus.

Kritik

Da nahezu jede Software heute wenigstens teilweise auf eine der in Annex I genannten Techniken zurückgreift, wird vielfach bemängelt, dass die Schwelle für ein Eingreifen der Regulierung deutlich zu niedrig liegt – selbst wenn an KI-Systeme, welche nur geringe Risiken aufweisen, auch nur wenige bzw. keine regulatorischen Anforderungen gestellt werden. Angesichts der eher vagen Definitionen dürfte aber schon die Frage, wann ein KI-System vorliegt und in welche Risikokategorie es fällt, oft nur mit erheblichem Aufwand zu klären sein. Solche bereits aus dem Datenschutzrecht bekannten Schwellenanalysen sind mit zusätzlichen Compliance-Kosten für Anwender und Anbieter verbunden. Im Laufe des Gesetzgebungsverfahrens dürfte deshalb eine Diskussion um eine Konkretisierung unausweichlich sein.

Eine solche Diskussion ist auch im Hinblick auf den Schutzzweck der Verordnung geboten. Die besonderen Gefahren von "künstlicher Intelligenz" liegen in erster Linie darin begründet, dass der Weg zu einem Ergebnis nicht von einem Menschen erdacht wurde, sondern die Software auf Basis bestimmter Parameter selbst Logiken erzeugt und anwendet. Diese Logiken sind zum Teil für menschliche Beobachter nicht nachvollziehbar, und sie können von einem (unerkannten) Bias in den genutzten Trainingsdaten so beeinflusst werden, dass die Ergebnisse diesen Bias reproduzieren oder verstärken. Die damit verbundenen Gefahren bestehen nicht in gleichem Maß, wenn die Logik von einem menschlichen Programmierer vollständig vorgegeben wird. Die Erstreckung des Begriffs "KI-System" auf eher traditionelle Programmiertechniken ist vor diesem Hintergrund nicht zwingend.

Dieser Artikel ist der zweite Teil einer Serie zur geplanten KI-Verordnung der Europäischen Union.
Die EU-KI-Verordnung – Teil 1: Überblick und Struktur
Die EU-KI-Verordnung – Teil 3: Das Hochrisikosystem
Autoren: Stephan Zimprich, Partner, Fieldfisher; Hagen Küchler, Rechtsreferendar