Antwort (Datenschutzrechtliche Anforderungen Bewertung / Begutachtung)
Datenschutzrechtliche Anforderungen an die Bewertung / Begutachtung von Studierenden- bzw. Prüfungsleistungen mithilfe von KI-Systemen
I. Studierenden- und Prüfungsleistungen als personenbezogene Daten
Wenn zum Zweck der Bewertung / Begutachtung die Lehrenden bzw. Prüfenden Studierenden- bzw. Prüfungsleistungen in ein KI-System kopieren und den Befehl zur Bewertung / Begutachtung erteilen, ist das Datenschutzrecht zu beachten. Neben dem Namen und der Matrikelnummer der Studierenden bzw. Prüflinge stellen auch schriftliche Antworten eines Studierenden bzw. Prüflings nach einem Urteil des Gerichtshofs der Europäischen Union personenbezogene Daten gemäß Artikel 4 Absatz 1 Datenschutz-Grundverordnung (DS-GVO) dar. Denn der Inhalt von Antworten spiegele den Kenntnisstand und das Kompetenzniveau der jeweiligen Prüflinge wider, ihre Gedankengänge, ihr Urteilsvermögen und ihr kritisches Denken (EuGH, Urteil vom 2012.2017, C-434/16). Den Namen und die Matrikelnummer aus der Studierenden- bzw. Prüfungsleistung zu löschen, ist damit nicht ausreichend, um eine Anonymisierung einer solchen Prüfungsleistung vorzunehmen.
II. Rechtmäßigkeit der Datenverarbeitung
Die Verarbeitung von personenbezogenen Daten gemäß Artikel 4 Nr. 2 DS-GVO ist weit umrissen und betrifft vorliegend insbesondere das Auslesen, das Abfragen, die Verwendung, das Übermitteln, den Abgleich und die Verknüpfung personenbezogener Daten (Artikel 4 Nr. 2 DS-GVO). Nach der DS-GVO ist die Verarbeitung personenbezogener Daten gestattet, wenn die betroffenen Studierenden bzw. Prüflinge wirksam eingewilligt haben (Artikel 6 Absatz 1 lit. a) DS-GVO) oder eine sonstige Rechtsgrundlage in der DS-GVO bzw. im nationalen Recht dies gestatten.
Das Erfordernis der Freiwilligkeit einer Einwilligung gemäß Artikel 6 Absatz 1 lit. a) DS-GVO liegt in der überwiegenden Zahl der Fälle in prüfungstypischen Situationen aber nicht vor. Denn nur Studierende bzw. Prüflinge, die eine echte Wahl haben und in der Lage sind, die Einwilligung zu verweigern oder zurückzuziehen, ohne Nachteile zu erleiden (z.B. den Prüfungsverlust), haben ihre Einwilligung freiwillig erteilt (Erwägungsgrund 42 DS-GVO). Im Hinblick auf das Erfordernis der Freiwilligkeit wird davon auszugehen sein, dass die Nutzung einer KI-basierten Bewertung / Begutachtung aufgrund einer Einwilligung nicht möglich sein wird, wenn eine Nutzungspflicht für die Studierenden bzw. Prüflinge besteht, sondern nur wenn die Nutzung als ein Zusatzangebot im Rahmen des Studiums bzw. der Prüfung angeboten werden würde, über deren Verwendung die Studierenden bzw. Prüflinge frei entscheiden könnten. Zudem müssten die betroffenen Studierenden bzw. Prüflinge informiert werden, worin sie einwilligen (Artikel 4 Nr. 11 DS-GVO) und sind vor Abgabe der Einwilligung darüber in Kenntnis zu setzen, dass sie das Recht haben ihre Einwilligung jederzeit ohne Grund mit Wirkung für zukünftige Datenverarbeitungen zu widerrufen (Artikel 7 Absatz 3 DS-GVO).
In der Regel dürfen damit Lehrende und Prüfende im Rahmen einer Lehrveranstaltung oder Prüfung KI-Systeme nicht zur Bewertung / Begutachtung nutzen, soweit Leistungs-, Prüfungs-, bzw. Studierendendaten verarbeitet werden, die auch personenbezogene Daten enthalten können. Eine KI-basierte Prüfungsbewertung wäre nur dann ohne Einwilligung der jeweils betroffenen Prüflinge zulässig, wenn eine einschlägige Rechtsgrundlage, wie beispielsweise eine satzungsmäßige Regelung in einer Prüfungsordnung vorliegen würde (Artikel 6 Absatz 1 lit. e DS-GVO i.V.m. Bremischen Hochschulgesetz i.V.m. Prüfungsordnung).
Soweit zur KI-basierten Bewertung / Begutachtung KI-Systeme von externen KI-Anbietern zur Verarbeitung der personenbezogenen Daten der Studierenden bzw. Prüflinge eingesetzt werden sollen, sind die Hochschulen zudem verpflichtet, einen datenschutzkonformen Zugang durch Anbindung dieser externen KI-Systeme zu ermöglichen (siehe GenKI@UB an der Universität Bremen). Dazu haben Hochschulen sicherzustellen, dass die KI-Anbieter datenschutzrechtliche Verpflichtungen weisungsgebunden einhalten, basierend insbesondere auf einem mit dem KI-Anbieter abzuschließenden Vertrag zur Auftragsverarbeitung gemäß Artikel 28 DS-GVO.
III. Automatisierte Entscheidung im Einzelfall
Gemäß Artikel 22 Absatz 1 DS-GVO hat eine betroffene Person zudem das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber eine rechtliche Wirkung entfaltet oder sie in ähnlicher Weise beeinträchtigt.
Artikel 22 DS-GVO ist insbesondere aber dann nicht anwendbar, wenn eine eigenständige menschliche Entscheidung „dazwischentritt“ und eine Überprüfung der automatisierten Auswertung durch Menschen stattfindet. Die Letztentscheidungskompetenz muss damit bei den Lehrenden bzw. Prüfenden liegen. Dabei muss nach dem „Schufa-Urteil“ des Gerichtshofs der Europäischen Union (Urteil vom 7.12.2023 - C-634/21 - SCHUFA Holding u.a. (Scoring) der überprüfende Mensch fachlich zur Überprüfung der KI-basierten automatisierten Vorbewertung in der Lage sein, und ihm muss ausreichend Zeit zur Verfügung stehen, die automatisierte Vorbewertung zu prüfen. Zudem müsste auch ein Entscheidungsspielraum gegeben sein, eine eigene Sachentscheidung zu treffen und die KI-basierte Entscheidung zu ändern. Eine ausschließlich formelle Beteiligung eines Menschen im Entscheidungsprozess wäre nicht ausreichend. Dieses Vorgehen wäre auch mit dem Prüfungsrecht nicht zu vereinbaren (siehe dazu auch die Ausführungen zu den prüfungsrechtlichen Anforderungen).