Antwort (Anforderungen KI-Verordnung Bewertung / Begutachtung)

Die Europäische Union führt mit der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13.6.2024 (KI-Verordnung) Rechtsvorschriften zur künstlichen Intelligenz ein. Dabei verfolgt die KI-Verordnung einen risikobasierten Ansatz, der KI-Systeme nach ihrem Risiko bewertet und entsprechend einteilt (unannehmbares, hohes, begrenztes und geringes Risiko). Je riskanter ein KI-System ist, desto strenger sind die Anforderungen für Anbieter, Betreiber, Einführer und Händler von KI-Systemen. 

„Betreiber“ gemäß Artikel 3 Absatz 4 KI-Verordnung ist „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet.“ Betreiber von KI-Systemen können damit neben einer Hochschule, die das KI-System zur Verfügung stellt, auch Lehrende sein, die die KI-Anwendung im Rahmen ihrer Lehrtätigkeit verwenden oder auch Studierende, die die KI-Anwendung im Rahmen ihres Studiums nutzen. 

An die Eingruppierung als Hochrisiko-KI sind weitreichende Folgen geknüpft, sodass Artikel 6 KI-Verordnung Vorgaben zur Einstufung als Hochrisiko-KI aufstellt. KI-Systeme wären als ein Hochrisiko-KI-System einzustufen, soweit sie gemäß Artikel 6 Absatz 2 KI-Verordnung in einem der in Anhang III genannten Bereiche eingesetzt werden würden. Gemäß Nr. 3 lit. b) des Anhangs III der KI-Verordnung gelten als Hochrisiko-KI-Systeme solche KI-Systeme, die zur Bewertung von Lernergebnissen eingesetzt werden sollen, auch wenn diese Ergebnisse zur Steuerung des Lernprozesses natürlicher Personen in Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen verwendet werden. Damit sind insbesondere automatisierte Bewertungssysteme erfasst, die Studien- und Prüfungsleistungen automatisiert beurteilen. Gemäß Artikel 6 Absatz 3 KI-Verordnung gilt wiederum ein in Anhang III genanntes KI-System nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Dies ist unter anderem gemäß Artikel 6 Absatz 3 lit. d) KI-Verordnung auch der Fall, wenn das KI-System dazu bestimmt ist, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. 

Soweit KI-basierte Prüfungsbewertungen nicht vollautonom vorgenommen werden, sondern lediglich als eine Erstbewertung genutzt werden und die Lehrenden bzw. Prüfenden eine eigenverantwortliche und selbständige  Bewertung vornehmen, wird das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst und wäre damit nicht als hochriskant einzustufen. Ein anderes Vorgehen widerspräche insbesondere auch dem Prüfungsrecht (siehe dazu die Ausführungen zu den prüfungsrechtlichen Anforderungen).