Projektablauf
Das Verbundprojekt wird nach dem SHEILA-Framework umgesetzt, welches insbesondere Aspekte von “Trusted Learning Analytics” (TLA) berücksichtig. TLA sieht einen ethisch verantwortungsvollen und transparenten Einsatz von Daten vor. In Pilotierungs- und Evaluationsstudien werden daher Ansprüche aus der Diversität der Zielgruppen berücksichtigt.
Im ersten Projektjahr stehen die Identifikation aller Stakeholder sowie die Umsetzung des Trusted Learning Analystics Verhaltenskodex im Fokus. Hierzu werden die Stakeholder frühzeitig im Projektablauf informiert und mit eingebunden. Darüber hinaus werden ethische und datenschutzrechtliche Aspekte geprüft und mit den Datenschutzbeauftragten der Universität besprochen. In der Pilotierungsphase werden zum Training der KI-Anwendungen bestehenden Daten analysiert (z.B. anonymisierte Antworten von Studierenden aus e-Klausuren) und Kooperations-Lehrveranstaltung für den weiteren Projektverlauf akquiriert. In diesen Lehrveranstaltungen werden im zweiten Projektjahr erste Prototypen der KI-Anwendungen eingesetzt werden. Ziel ist es Studierenden High Information Feedback zu ihren Abgaben zu geben sowie Lehrenden Klausurbewertungsvorschläge bereitzustellen. Begleitet wird dies durch Befragungen der Studierenden und Lehrenden. Des Weiteren wird ein Chatbot zur Beantwortung von Studierendenfragen auf organisatorischer Ebene prototypisch getestet und evaluiert. Im dritten und vierten Projektjahr werden zum einen die KI-Anwendungen auf Basis der Evaluationsergebnisse überarbeitet. Zum anderen werden Weiterbildungsmaterialien und -veranstaltungen für Lehrenden zum Umgang mit KI-basiertem Feedback zur Verfügung gestellt und durchgeführt. Abschließend wird eine Strategie zur hochschulweiten Implementation der KI-Tools erarbeitet. Ziel ist es die nachhaltige Qualitätssicherung zu gewährleisten sowie den Transfer in die Hochschulpraxis zu ermöglichen.
Die einzelnen Aspekte und Phasen des Projektes werden iterativ nach dem SHEILA-Framework umgesetzt.
Das SHEILA Framework
Ein Alleinstellungsmerkmal des Verbundes ist der angewendete SHEILA-Ansatz, der eine Überführung der Pilotierung in den Regelbetrieb vom Beginn des Projektes unterstützt. Das SHEILA-Framework wurde im Rahmen des EU-Projekts „SHEILA“ entwickelt und evaluiert. Anders als bei anderen Forschungsmethoden werden im SHEILA-Ansatz die Stakeholder frühzeitig und regelmäßig in den Entwicklungsprozess einbezogen, so dass die spätere Bewertung der Forschungsergebnisse sowie das Wissen über die Entwicklungen von KI-Anwendungen für den Regelbetrieb schon vorhanden sind. Das Framework ist in sechs Dimensionen (Erfassen des gesamten Kontextes, Identifizierung der Key-Stakeholder, Identifikation der gewünschten Verhaltensänderung, Engagementstrategie, Ressourcenanalyse, Weiterbildungsrahmen schaffen) gegliedert, welche iterativ aufeinander aufbauen. Weitere Informationen zum SHEILA-Projekt finden Sie unter: https://sheilaproject.eu
Trusted Learning Analytics
Der Trusted Learning Analytics Verhaltenskodex (Hansen et al. 2020) dient als Vorlage bei der Umsetzungsstrategie zum Einsatz von Learning Analytics Anwendungen an der Universität Bremen. Dabei steht der verantwortliche Umgang mit Daten und die Beachtung ethischen Prinzipien im Vordergrund. Darüber hinaus werden verschiedene Interessengruppen involviert, um die Akzeptanz für den Einsatz von KI-Anwendungen in der Lehre zu stärken und eine nachhaltige Nutzung zu ermöglichen. Weitere Informationen zum Trusted Learning Analytics Verhaltenskodex finden Sie unter: https://www.researchgate.net/publication340183667_Verhaltenskodex_fur_Trusted_Learning_Analytics