Die Europäische Union hat eine Verordnung für Künstliche Intelligenz vorgelegt, den Artificial Intelligence Act (AIA) [1] . Der Entwurf wurde von der Europäischen Kommission eingebracht und befindet sich noch in der Abstimmung. Dieser Artikel gibt einen kurzen Überblick über die Eckpunkte des AIA und erörtert, wie der Gesetzesentwurf im Falle einer Umsetzung den Entwicklungszyklus eines ML-Produkts beeinflusst. Details des neuen Gesetzes können sich natürlich noch ändern.. Aus diesem Grund konzentriert diese Zusammenfassung vor allem auf technische Überlegungen, nicht auf die rechtlichen Aspekte.
Einführung
Zu Beginn lohnt sich ein Blick auf wichtige Fakten zum geplanten Gesetz.
Wo gilt der AIA?
Der AIA findet Anwendung auf KI-Systeme, die in der EU in Verkehr gebracht werden oder auf die Nutzer innerhalb der EU zugreifen. Es gibt Domänen mit besonderer Regulierung (z. B. die zivile Luftfahrt), in denen der AIA nur teilweise Anwendung findet. Auf bestimmte Anwendungsbereiche ist der AIA gemäß dem ersten Entwurf nicht anwendbar (z. B. auf die Rüstungsindustrie).
Was ist ein KI-System?
Die Definition eines KI-Systems innerhalb der AIA ist sehr weit gefasst. Sie umfasst neben dem maschinellen Lernen auch logikbasierte Ansätze (z. B. induktive logische Programmierung) und statistische Ansätze (z. B. Bayessche Schätz-, Such- und Optimierungsmethoden).
Welche Risikoklassen werden im AIA verwendet?
AIA klassifiziert KI-Systeme nach dem von ihnen ausgehenden Risiko (risikobasierter Ansatz). Es gibt 4 Risikoklassen, die in der folgenden Grafik zusammengefasst sind (Quelle: EU-Kommission [3])
![Source: EU commission [3]](https://static.wixstatic.com/media/a6185c_27ccfd327fbd48a78ed51eb819ff2570~mv2.jpeg/v1/fill/w_94,h_59,al_c,q_80,usm_0.66_1.00_0.01,blur_2,enc_auto/a6185c_27ccfd327fbd48a78ed51eb819ff2570~mv2.jpeg)
Zu den verbotenen Praktiken (unacceptable risk) gehören Social Scoring durch Behörden und Systeme, die Menschen in Echtzeit biometrische erfassen. Soclhe Systeme zur biometrischen Identifizierung ermöglichen es etwa, Personen live über Kameras zu identifizieren. Die Verwendungen dieser Systeme ist in der Regel verboten, wobei es hier eine Reihe möglicher Ausnahmen für die Strafverfolgung gibt.Darüber hinaus sind KI-Systeme verboten, die das Verhalten von Personen beeinflussen können, sofern ein Risiko von körperlichen oder psychischen Schäden für die betreffende Person oder auch Dritte besteht.
Systeme mit hohem Risiko sind der Hauptfokus desAIA. Die hier beschriebenen Auflagen gelten hauptsächlich für diese Klasse von Systemen. Der AIA beinhaltet eine Auflistung von Anwendungen, die Hochrisiko-Systeme sindDazu gehören biometrische Identifizierung, Verwaltung kritischer Infrastrukturen (z. B. Wasserversorgung), KI-Nutzung im Bildungswesen (z. B. Universitätszulassung), KI-Nutzung durch Behörden (z. B. Entscheidung über Sozialleistungen oder im Asylverfahren, Unterstützung der Strafverfolgung), KI für Finanzanwendungen, wie die Bonitätsprüfung, und mehr (die vollständige Auflistung ist unter [3] zu finden).
Darüber hinaus gelten bestimmte KI-Systeme als Hochrisiko-System, die in einem sicherheitskritischen Produkt eingesetz werden.
Im Falle von Anwendungen mit begrenztem Risiko, haben die Benutzer ein Anrecht auf Transparenz . Hierzu gehört etwa das Recht informiert zu werden, wenn man mit einem KI-System interagieren (z.B. einem Chatbot) oder wenn ein System zur Erkennung von Emotion zum Einsatz kommt.Auch von KI generiert Medien (sogenannte Deep Fakes) müssen als soclhe gekennzeichnet werden.
Alle anderen Anwendungen werden in die Kategorie geringes Risiko eingestuft. Für sie gelten die meisten der im Folgenden beschriebenen Regeln nicht. Die AIA empfiehlt jedoch auch solche Systeme gewissermaßen frewillig nach den gleichen, strengen Regeln zu entwickeln..
Für alle der genannten Kategorien gibt es weitere Ausnahmen und Detailregelungen.
Der Lebenszyklus eins Hochrisko-Systems
Die vom AIA vorgesehenen Regelungen sind einfacher verständlich, wenn man sie im Kontext des Entwicklungszykluses eines KI-Systems betrachtet.Andrew Ng hat hierzu ein einfaches und sehr nützliches Modell vorgeschlagen(siehe [4]), welches man um die AIA spezifischen Anforderungen erweitern kann.
Die von Andrew Ng vorgestellten Prozessschritte sind in grün dargestellt. Diese Schritte können zusätzlich logisch in drei Phasen unterteilt werden: Die Entwicklungsphase ("Development Phase"), die AIA-Zertifizierung ("Assessment Phase") und das Monitoring von Produkten nach Veröffentlichung und in Verkehr bringen ("Market Phase"):
Die Entwicklungsphase beginnt mit der genauen Definition der Rahmendaten des Projekts (Scoping). Diese gewinnt durch die Regulierung von KI zusätzliche Bedeutung, da die Definition des Anwendungsfalls, der Zielgruppe und von Metriken für die spätere Bewertung erforderlich ist. Diese bilden die Grundlagen dafür zu beurteilen und zu begründen, warum ein bestimmtes System als marktreif angesehen wird. Die anschließende iterative Entwicklung, umfasst die Datenerfassung und das Training. Der AIA definiert hierfür Anforderungen, beispielsweise an dieData Governance. Demnach müssen verwendete Datensätze „relevant, repräsentativ, fehlerfrei und vollständig“ sein. Hierbei handelt es sich lediglich um abstrakte nicht-funktionale Anforderungen - noch ist nicht genau definiert, wie diese technisch umzusetzen sind. Einige Anforderungen, wie die Notwendigkeit menschliche Kontrolle zu ermöglichen, ziehen unmittelbare fachliche Anforderungen nach sich. Wie kann einem Menschen beispielsweise die Begründung einer Entscheidung des KI-Systems nachvollziehbar angezeigt werden? Welche Benutzeroberfläche ist dafür zweckmäßig?
Die Bewertungsphase ist obligatorisch für KI mit hohem Risiko im Sinne des AIA. Vereinfacht gesagt müssen Unternehmen hierfür eine detaillierte Dokumentation des System erstellen. Die wichtigsten Inhalte der Dokumentation werden im AIA definiert: Neben einer allgemeinen Beschreibung des Systems (Zweck, Hardwareumgebung, Version etc.) müssen technische Details darüber enthalten, wie das System entwickelt wurde (eingesetzte Methoden, verwendete vortrainierter Modelle, Designspezifikation mit wichtigen Designoptionen, Architektur, Datenblätter etc.). Auch das Betriebskonzept ist zu erörtern. Anhand der Dokumentation muss die Konformität des Systems mit dem AIA zertifiziert werden, durch interne oder externe Auditierung. Das KI-System erhält dann eine CE-Kennzeichnung und darf vertrieben werden.
Die Zertifizierung muss ggf. wiederholt werden, wenn das System aktualisiert wird. Treten Probleme auf, so können diese die Entwicklung in jede der vorherigen Phasen zurückwerfen und Anpassungen erforderlich machen, was in der Darstellung durch den orangenen Pfeil angedeutet ist.
Die Marktphase umfasst den Zeitraum, in dem das System in der produktiven Umgebung eingesetzt wird. Eine Anforderung des AIA für diese Phase ist es, das System auf Modell-Drift zu überwachen. Unter Modell-Drift versteht man dabei eine Verschlechterung der Leistung im Laufe der Lebenszeit. Hierzu muss eine effektive Überwachung sichergestellt werden Modell-Drift ist ein schwierig zu lösendes Problem, auf das wir heute jedoch nicht näher eingehen können.
Der AIA stellt für alle genannten Phasen vor allem Anforderungen auf. Konkrete Lösungsansätze werden im Gesetz nicht erörtert. Die EU schlägt für die Konkretisierung der Anforderungen deshalb die Verwendung so geenannter harmonisierter Normen vor. Die sollen unabhängig vom Gesetz entwickelt werden. Ein System, das einer solchen Normen entspricht, gilt als gesetzeskonform im Sinne des AIA.
Zusätzlich müssen Entwickler von KI-Systemen ein übergreifendes Qualitäts- und Risikomanagementsysteme nachweisen. Welche Standards hierfür als ausreichend angesehen werden, wird sicher noch Gegenstand genauerer Diskussion sein müssen.
Zusammenfassung
Das von der EU vorgeschlagene Gesetz zur Regulierung von bestimmten KI-Systemen befindet sich noch im Gesetzgebungsprozess. Dass es in dieser oder ähnlicher Form auch Gesetz wird, erscheint sicher.
Es zeigt sich, dass die im Entwurf vorgesehenen Regelungen großen Einfluss auf die Entwicklung von KI-Systemen haben werden. Herausforderungen e ergeben sich dabei insbesondere für Data Governance, aber auch für Qualitätsmanagement inkl. der Teststrategie. Daneben sieht der AIA auch Mechanismen vor, die insbesondere kleineren Unternehmen den Einstieg in die Technologie erleichtern sollen. .Einer dieser Mechanismen stützt sich auf harmonisierte Normen. Produkte, die eine solche Norm verwenden, gelten als compliant mit dem AIA. Die Details zu diesen Standards sind noch Gegenstand von Diskussionen. Zuletzt ist ein Sandbox-Schema zu erwähnen, das z.B. Startups das Schaffen von Innovation erleichtern soll. Kern des Gedanken ist die Erleichterung bestimmter Auflagen während der Entwicklung. Die Einzelheiten werden allerdings größtenteils den nationalen Gesetzgebern überlassen. Welche Unternehmen in welchen Staaten davon profitieren können ist also noch nicht absehbar.
Absehbar ist jedoch, dass der AIA große Auswirkungen auf Unternehmen haben wird. Die Schätzungen der im Jahr 2025 zu erwartenden Compliance-Kosten gehen weit auseinander, von 500 Millionen bis 10 Milliarden Euro wird dabei ausgegangen. Die Höchststrafe für Verstöße beträgt bis zu 4 % des weltweiten Jahresumsatzes oder 20 Millionen Euro (je nachdem, welcher Betrag höher ist).
Quellen
[1] Vorschlag für eine VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES ZUR FESTLEGUNG HARMONISIERTER VORSCHRIFTEN ÜBER KÜNSTLICHE INTELLIGENZ (ARTIFICIAL INTELLIGENCE ACT) UND ZUR ÄNDERUNG BESTIMMTER RECHTSAKTE DER UNION COM/2021/206 final. Zuletzt abgerufen am 7.9.2021 https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206
[2] The Fight to Define When AI Is 'High Risk'. Khari Johnson. Abgerufen am 7. September 2021 von https://www.wired.com/story/fight-to-define-when-ai-is-high-risk/
[3] Regulatorischer Rahmenvorschlag für künstliche Intelligenz. Zuletzt abgerufen am 7. September 2021 von https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
[4] A chat with Andrew on MLOps: From Model-centric to Data-centric AI . Zuletzt abgerufen am 7. September 2021 von https://youtu.be/06-AZXmwHjo