Das KI-Gesetz der EK und der Schutz der Grundrechte in der EU: 114 CSOs und European Digital Rights fordern Änderungen

Im April 2021 veröffentlichte die Europäische Kommission (EK) einen Vorschlag für einen EU-Rechtsrahmen für künstliche Intelligenz (KI), der seitdem von Akteuren mit unterschiedlichem Hintergrund wie die Human Rights Watch, openDemocracy, TechCrunch, European Digital Rights (EDRi) und vielen anderen kritisiert wurde. Dieser Artikel wird einen Überblick über die Bedenken von Kritikern geben und insbesondere darlegen, warum verschiedene zivilgesellschaftliche Organisationen (CSOs) der EU und EDRi behauptet haben, dass der Vorschlag die Grundrechte nicht wirksam schützen würde, insofern er angenommen würde. Dieser Artikel hält einen Überblick über die Vorschläge aus dem Aufruf von EDRi bereit und bietet neben einigen zusätzlichen Anmerkungen auch Einblicke in die Bestimmungen des Artificial Intelligence Act (AIA).

So steht es um die ‘Soziale Sicherheit’ – Vorschlag scheitert am Schutz der Grundrechte

Sowohl TechCrunch als auch die Human Rights Watch (HRW), openDemocracy und verschiedene CSOs in der EU, die dem EDRi-Netzwerk angehören, sind sich einig, dass der Vorschlag der EK für einen AIA im Hinblick auf den Schutz der Grundrechte zu kurz greift. Obwohl die EK in ihrem Vorschlag darauf hinweist, dass „der Einsatz von KI mit ihren spezifischen Merkmalen (z. B. Undurchsichtigkeit, Komplexität, Datenabhängigkeit, autonomes Verhalten) eine Reihe von Grundrechten, die in der EU-Grundrechtecharta (GRCh) verankert sind, beeinträchtigen kann”, verbietet sie nicht ausdrücklich den Einsatz „aller KI-Systeme, die ein unannehmbares Risiko für die Grundrechte darstellen”, wie 114 CSOs in einem von EDRi geleiteten Aufruf argumentieren. Um Letzteres wirksam zu gewährleisten, so wird in dem Aufruf betont, müsse die EK folgende Punkte berücksichtigen: 

1. Die „Abschaffung der hohen Schwelle für manipulative und ausbeuterische Systeme gemäß Art. 5 (1)(a) und (b)” 

Art. 5(1)(a) und (b) besagen, dass bestimmte KI-Praktiken verboten sind, wenn sie „[unterschwellige] Techniken jenseits des Bewusstseins einer Person einsetzen … [oder] eine der Schwachstellen einer bestimmten Personengruppe aufgrund ihres Alters oder einer körperlichen oder geistigen Behinderung ausnutzen, um das Verhalten einer Person … in einer solchen Weise wesentlich zu beeinflussen, die dieser oder einer anderen Person körperlichen oder psychischen Schaden zufügt oder zufügen kann”. Wie der Aufruf von CSOs verdeutlicht, vermitteln die letztgenannten identischen Teile dieser Artikel fälschlicherweise die Botschaft, dass KI-Systeme, die in die Autonomie des Einzelnen eingreifen (d. h. jenseits „des Bewusstseins einer Person”/ Tendenz Vulnerabilität ‘auszunutzen’), auch keinen Schaden hinterlassen können. Wie EDRi hervorhebt, sollte der Eingriff in die individuelle Autonomie selbst nicht rechtmäßig sein, da er einen Akt „unzulässiger Schädigung” darstellt. Darüber hinaus könnte man hinzufügen, dass diese Artikel indirekt implizieren, dass es von Person zu Person auf der Grundlage der individuellen Belastbarkeit abhängt, ob ein physischer oder psychischer Schaden entsteht oder nicht. Diese Konnotation ist an sich schon problematisch, denn sie folgt der Logik, dass dieselbe Verletzung bestraft wird, wenn sie einer Person zugefügt wird, aber nicht, wenn sie einer anderen zugefügt wird. Mit anderen Worten: Die Annahme dieses Artikels würde gegen das Konzept der gleichen Rechte und der Gleichheit vor dem Gesetz verstoßen (Art. 20 GRCh).

2. Die „Ausweitung des Anwendungsbereichs von Art. 5 (1)(b), um eine umfassende Reihe von Schwachstellen einzubeziehen”

Art. 5(1)(b) nennt Alter, körperliche und geistige Behinderung als Kategorien, die die Schutzbedürftigkeit einer bestimmten Gruppe widerspiegeln. Beteiligte CSOs haben jedoch ein umfassenderes Verständnis von Schutzbedürftigkeit gefordert und angemerkt, dass „jedes sensible oder geschützte Merkmal, einschließlich, aber nicht beschränkt auf: Alter, Geschlecht und Geschlechtsidentität, Rasse oder ethnische Herkunft, Gesundheitszustand, sexuelle Ausrichtung, Geschlechtsmerkmale, sozialer oder wirtschaftlicher Status, Arbeitnehmerstatus, Migrationsstatus oder Behinderung” Beachtung finden muss. Insbesondere der Vorschlag, die Formulierung „alle sensiblen oder geschützten Merkmale, einschließlich, aber nicht beschränkt auf” aufzunehmen, ist sehr sinnvoll, wenn man bedenkt, dass sich die Vulnerabilität einer bestimmten Gruppe im Laufe der Zeit ändert. In jedem Fall ist die Vorbeugung von der Gefährdung bestimmter Gruppen besser als Nachsicht. Insbesondere in den letzten Jahren, in denen die Rassendiskriminierung, die Diskriminierung von Flüchtlingen und Migranten sowie Völkermorde ‘neue’ Formen angenommen haben, ist es von entscheidender Bedeutung, die Verfestigung von Vorurteilen sowie Lücken im Datenschutz und im Verbraucherschutz zu vermeiden. Letzteres ist besonders wichtig, um zu verhindern, dass bestimmte Gruppen ins Visier genommen werden – nicht nur die Kontrolle ihrer materiellen Verhaltensweisen zu verbieten, sondern auch, um ihre Sicherheit zu gewährleisten und individuelle und gezielte Bedrohungen zu vermeiden (z. B. Diskriminierung durch Einschränkung des Zugangs zur Gesellschaft und zur Grundversorgung, Terrorismus, Völkermord usw.). 

3. Die „Anpassung des Art. 5 (1)(c) Verbot des sozialen Scorings auf das Spektrum schädlicher sozialer Profiling-Praktiken auszuweiten, die derzeit im europäischen Kontext verwendet werden”

Artikel 5(c) des EK-Vorschlags für einen AIA verbietet „das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen durch Behörden oder in deren Auftrag zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit natürlicher Personen über einen bestimmten Zeitraum hinweg auf der Grundlage ihres Sozialverhaltens oder bekannter oder vorhergesagter persönlicher oder persönlichkeitsbezogener Merkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Punkte führt: (i) eine nachteilige oder ungünstige Behandlung bestimmter natürlicher Personen oder ganzer Gruppen davon in sozialen Kontexten, die nichts mit den Kontexten zu tun haben, in denen die Daten ursprünglich generiert oder gesammelt wurden; (ii) eine nachteilige oder ungünstige Behandlung bestimmter natürlicher Personen oder ganzer Gruppen davon, die ungerechtfertigt ist oder in keinem Verhältnis zu ihrem sozialen Verhalten oder dessen Schwere steht”. Wie EDRi argumentiert, sollte dieses Verbot auf private Akteure ausgedehnt werden, und bestimmte Kriterien wie ‘Vertrauenswürdigkeit’ und ‘ein bestimmter Zeitraum’ sollten wegfallen. Während die Forderung von EDRi sicherlich plausibel ist, könnte es besonders interessant sein, zu diskutieren, wie sich dies auch auf die Regulierung von FinTech-Unternehmen in der EU auswirken könnte. Vor allem, weil die digitale Kreditvergabe mit Vertrauensprüfungen zusammenfallen kann, wäre es interessant zu beobachten, wie der AIA die Anbieter digitaler Kredite (DCPs) daran hindern könnte, zusätzliche Informationen über ihre Kunden zu sammeln, um sowohl einen ungleichen Zugang zu digitalen Krediten als auch einen Zugang auf der Grundlage von einem sozialen Scoring zu verhindern. 

4. Die „Ausweitung des Verbots von Art. 5 (1)(d) das Verbot der biometrischen Fernidentifizierung (RBI) auf alle Akteure, nicht nur auf die Strafverfolgungsbehörden, sowie auf ‘Echtzeit’-Einsatz und ‘Nachnutzung’ auszuweiten”

Gemäß der Aufforderung muss Art. 5(1)(d), der „die Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zum Zwecke der Strafverfolgung [verbietet]; es sei denn, eine solche Verwendung ist für” bestimmte festgelegte Ziele unbedingt erforderlich (d.h. „die gezielte Suche nach Opfern von Straftaten, einschließlich vermisster Kinder”(i); „die Verhinderung einer … Bedrohung des Lebens oder der körperlichen Sicherheit natürlicher Personen oder eines terroristischen Anschlags” (ii); „die Aufdeckung, Lokalisierung, Identifizierung oder Verfolgung eines Täters oder Verdächtigen einer Straftat …” (iii)), auch das „Inverkehrbringen/die Inbetriebnahme [von RBI-Systemen]” untersagen, wenn davon auszugehen ist, dass letztere leicht von verschiedenen Akteuren missbraucht werden könnten. Da die EDRi nicht spezifiziert, wann es „angemessen vorhersehbar” ist, dass ein RBI-System leicht für kriminelle und andere schädliche Zwecke missbraucht werden kann, setzt ihre diesbezügliche Forderung einen gewissen Standard für Entwickler von RBI-Systemen. Letzteres bringt wohl gut zum Ausdruck, dass Sicherheitsrisiken an der Wurzel angegangen werden müssen. Während der Handel mit RBI-Systemen auf illegalen Marktplätzen nicht verhindert werden kann, ist es ein wichtiger Schritt, solche Systeme für den Durchschnittsbürger unzugänglich zu machen. Zu diesem Zweck könnte es auch erforderlich sein, zu präzisieren, was unter ‘angemessen vorhersehbar’ zu verstehen ist, Letzteres strikt rechtlich festzulegen und möglicherweise Überwachungsmaßnahmen zu fordern, mit Bezug darauf, wie sich Sicherheitslücken im Laufe der Zeit entwickeln.

Neben dem letztgenannten Vorschlag forderte die EDRi auch breite Ausnahmen in Art. 5(1)(d), Art. 5(2) und Art. 5(3) zu streichen, um den „Erfordernissen der Notwendigkeit und Verhältnismäßigkeit” des GRCh zu entsprechen. Unter anderem sieht Art. 2 vor, dass „die Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung” zulässig ist, wenn man bedenkt, was in Art. 5(1)(d) erwähnt wurde, und in Anbetracht der Tatsache, dass zwei weitere Kriterien erfüllt sind. Das erste Kriterium (i) bezieht sich auf die Vorhersage der „Schwere, der Wahrscheinlichkeit und des Ausmaßes des Schadens”, der eintreten würde, wenn ein RBI-System nicht verwendet würde. Das zweite Kriterium (ii) bezieht sich auf die Berücksichtigung und Abschätzung der Folgen des Einsatzes eines RBI-Systems in einer bestimmten Situation für die Rechte und Freiheiten der Bürger. Während der letztgenannte Artikel in der Theorie auf den Schutz der Grundrechte und -freiheiten der Bürger abzielen könnte, ist er in der Praxis zu vage. Das Gleiche gilt für Art. 5(3), der besagt, dass eine vorherige Genehmigung „durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde [eines] Mitgliedstaates” bei der Nutzung von RBI-Systemen in öffentlich zugänglichen Räumen obligatorisch ist, wobei dieses Verfahren dem nationalen Recht unterliegt, es sei denn, es handelt sich um eine „dringliche Situation”. Wie die EDRi und ihre Mitgliedsorganisationen argumentiert haben, lässt eine solche Aussage in der Tat viel Raum für Interpretationen. Insbesondere, weil die letztgenannte Formulierung an die Kontroverse um das Recht auf Selbstverteidigung im humanitären Völkerrecht (HVR) erinnern könnte, sollte die EK überdenken, ob solche Ausnahmen die Rechenschaftspflicht des Staates schwächen würden. 

5. Das „Verbot [einer Reihe] von Praktiken, die eine unannehmbare Gefahr für die Grundrechte nach Artikel 5 darstellen”

Nach Ansicht der EDRi und ihrer Mitgliedsorganisationen enthält Art. 5 eine Reihe von Praktiken, die eine Bedrohung für den Schutz der Grundrechte in der EU darstellen. Dazu gehören die Verwendung von Systemen zur Erkennung von Emotionen und biometrische Kategorisierungssysteme, „KI-Physiognomie durch die Verwendung von Daten über unsere Körper, um problematische Rückschlüsse auf Persönlichkeit, Charakter, politische und religiöse Überzeugungen zu ziehen”, und die Verwendung von KI-Systemen durch Strafverfolgungs- und Strafjustizbehörden oder Einwanderungsbehörden zum Zweck des Profilings oder der Risikobewertung von Personen. In der von EDRi geleiteten Forderung wird vorgeschlagen, diese Praktiken, die alle direkt oder indirekt mit dem Profiling zusammenhängen, ausdrücklich zu verbieten. Gemäß Anhang III gelten KI-Systeme, die (6)(e) von Strafverfolgungsbehörden zur Vorhersage von Straftaten oder (6)(f) von diesen u. a. im Rahmen von Ermittlungen eingesetzt werden, als KI-Systeme mit hohem Risiko. Wie in Abschnitt 5.2.3 ‘Hochrisiko-KI-Systeme’ betont wird, sind „Hochrisiko-KI-Systeme auf dem europäischen Markt vorbehaltlich der Einhaltung bestimmter verbindlicher Anforderungen und einer Ex-ante-Konformitätsbewertung zugelassen”. Letzteres ist besonders problematisch, weil der Akt des ‘Profilings’ mit „der grundlegenden Fähigkeit des Menschen, seine Gaben zum Gedeihen einzusetzen” in Konflikt geraten könnte, sofern die Motive für das Profiling mit dem Ausschluss einer bestimmten Gruppe aus dem öffentlichen Raum und dem Kontinuum der Grundrechte zusammenhängen. 

Wie Steward M. Patrick in einem Artikel im Council of Foreign Relations (CFR) feststellt, geht die oben genannte Definition auf das Verständnis der Menschenwürde von Hannah Arendt und Marc Lagon zurück. Konkret verstand Hannah Arendt „[die] Würde als ein Attribut, das den Menschenrechten irgendwie vorausgeht oder sie rechtfertigt”, wie John Douglas Macready in einem Artikel aus dem Jahr 2019 erklärt. Wie Macready noch einmal betont, beruht für Arendt „die Würde des Menschen auf der ‘Fähigkeit zu denken, zu sprechen und zu handeln’”. Die „politisch-sprachliche Existenz” des Einzelnen, zu der auch die Fähigkeit zur politischen Partizipation gehört, muss also geschützt werden, damit die Menschenwürde auch in der EU-Politik ein zentraler Pfeiler bleibt – zumal Art. 1 der GRCh besagt, dass „die Würde des Menschen unantastbar ist”. Darüber hinaus weisen KI-Systeme zum jetzigen Zeitpunkt viele Schwächen auf, so dass, wenn sie beispielsweise zur Erkennung von Emotionen eingesetzt würden, nicht gewährleistet ist, dass sie die Realität überhaupt erfassen würden. Letzteres macht sie besonders ungeeignet für den Einsatz in der Strafverfolgung, da sie zu Diskriminierung in Strafverfahren führen und die Gerechtigkeit sowie das Recht auf ein faires Verfahren untergraben könnten (Art. 47 GRCh). Insgesamt lässt sich also sagen, dass die Bedenken der EDRi und ihrer Mitgliedsorganisationen ernst genommen werden sollten. Wenn Sie Ihre eigenen Gedanken einbringen möchten, zögern Sie nicht, uns einen Kommentar auf LinkedIn zu hinterlassen! 

Centurion Plus

Sind Sie ein Investor oder ein Start-up mit Interesse an innovativen KI-Technologien und deren Einsatz in Afrika, Deutschland oder einem anderen EU-Land? Dann würden wir uns freuen, Sie rechtlich zu unterstützen! Wir beschäftigen Rechtsexperten mit Kenntnissen in verschiedenen afrikanischen Jurisdiktionen und verfügen über langjährige Erfahrung in der Beratung zu Themen wie Arbeit und Immigration, Steuern und Zoll, Verträge und Verhandlungen, Corporate Governance und Compliance sowie Datenschutz. Neben unseren afrikanischen Büros haben wir seit 2020 auch ein Büro in Deutschland. Das beweist, dass wir international denken… Sie auch? Dann kontaktieren Sie uns noch heute, um mit uns zusammenzuarbeiten!