Live E-Assessment über ARS

Kurzbeschreibung

Mit Hilfe von online-Audience Response Systemen (ARS) können vor, während und nach einer Lehrveranstaltung auf sehr einfache Weise Wissensfragen gestellt, Informationen gesammelt, Hörsaalexperimente durchgeführt, Fragen der Studierenden gesammelt und Feedback eingeholt werden. Alle, die ein internetfähiges Gerät besitzen, können sofort ohne Installation oder Registrierung teilnehmen. Die Ergebnisse können unmittelbar nach Ablauf der Befragung per Beamer präsentiert werden und ggf.Einfluss auf das weitere Lehr-/Lerngeschehen nehmen.

Weitere Informationen und Downloads

Die Ziele und das Einsatzspektrum von Audience Response Systemen sind vielfältig:

  • Interaktion in Präsenzveranstaltungen, auch bei sehr großen Teilnehmergruppen
  • Aufrechterhaltung und Erhöhung der Aufmerksamkeit
  • Aktivierung von Vorwissen, Rekapitulation von Inhalten oder Erfassung des Lernstandes in der Einstiegsphase
  • Aktivierung der Studierenden, den gerade gehörten Lehrstoff zu reflektieren (z.B. über Peer Instruction)
  • Anpassung der Vorlesung in Reaktion auf das Feedback der Teilnehmenden:
    • Identifizierung von Wissenslücken mit der Möglichkeit, die betreffenden Inhalte sofort zu rekapitulieren
    • Sammlung und Agregation von Verständnisfragen, die dann gebündelt beantwortet werden
    • Feedback zu Vorlesungsgeschwindigkeit oder Tafelbild
  • Sammlung anonymisierter Teilnehmerdaten (z.B. Meinungsumfragen, Hörsaalexperimente)
  • Live-Peer-Review, z.B. Kriterien-geleitete, anonyme Bewertung studentischer Seminar-Beiträge
  • Kombination Fragebogen-basierter und dialogischer Lehrveranstaltungsevaluation

Der ARS-Einsatz kostet Zeit für die Vermittlung, wird aber mit einem besseren Lernerfolg und mehr Spaß an der Lehre belohnt. Dabei gilt: Nicht zu viel (max. eine Frage alle 20min) und nicht zu wenig. Nur eine Frage pro Vorlesung führt schnell zu stark sinkenden Teilnahmequoten.

Einstiegsphase: Aktivierung von Vorwissen
Zu Beginn der Veranstaltung werden in einer kurzen Fragerunde Kerninhalte der vorherigen Veranstaltung aufgegriffen. Bei gravierenden Wissenslücken kann, mit Verweis auf entsprechende Lernressourcen, zum gezielten Selbststudium aufgerufen oder der betreffende Stoff kurz rekapituliert werden. Tipp: Die Beantwortung sollte nur wenig Zeit in Anspruch nehmen und das Anspruchsniveau der Fragen eher gering sein.

Arbeitsphase: Reflektion der Inhalte durch Peer Instruction nach Eric Mazur
Fragen, die von vielen falsch beantwortet wurden, werden in Partnerarbeit oder Kleingruppen kurz diskutiert und dann noch einmal gestellt (2-Runden-Abstimmung). Ein möglicher Workflow wäre:

  1. Präsentation von Lerninhalten eines Themenblocks (ca. 20min), anschließend Präsentation der Aufgabe
  2. Erfassung und Lösung der Aufgabe durch die Studierenden (max. 5 Min.)
  3. Auswertung der Antworten und Einleitung der nächsten Phase
  4. An das Ergebnis angepasste Vorgehensweise
    1. Antworten überwiegend korrekt --> Ergebnisse präsentieren, Erläuterung verbliebener Unklarheiten und Fortsetzung der Veranstaltung
    2. Antworten überwiegen falsch --> Angepasste Wiederholung der Inhalte, ggf. erneute Abstimmung
    3. Antworten diffus --> Einleitung der Peer Discussion: Zeitlich limitierte Diskussion der eigenen Antwort mit jemanden, der eine andere Antwort gewählt hat („Überzeugen Sie ihren Nachbarn von Ihrer Antwort“) und Wiederholung der Aufgabe (2-Runden-Abstimmung). Präsentation der Ergebnisse im Vergleich der ersten und zweiten Runde

Schlussphase: Unklarheiten aufdecken durch anonyme Fragensammlung
Bereits während der Arbeitsphase werden die Studierenden dazu ermuntert, anonym Verständnisfragen zu stellen. In der Schlussphase der Veranstaltung sichtet der Lehrende die Fragen, löscht ggf. doppelte oder unsinnige und präsentiert dann die verbliebenen. Die Beantwortung kann direkt erfolgen oder im Anschluss, z.B. über die Lernplattform.

Für Lehrende der Universität Bremen steht ARSnova zur Verfügung. Dieses wird im ZMML gehostet, kann mit dem Uni-Account genutzt werden und ist DSGVO-konform. Eine Alternative innerhalb von Stud.IP bietet das PlugIn Cliqr. Darüberhinaus gibt es eine eine Reihe von kostenlosen ARS-Systemen auf externen Servern, u.a. Particify (Weiterentwicklung von ARSnova) und  PINGO (Entwickung der Universität Paderborn, Unterstützt insbesondere die Peer Instuction-Metohde)

  • Beratung zur didaktischen Gestaltung und zur technischen Umsetzung
  • Bereitstellung der Software

Beispiele aus dem Sommersemester 2015 (Ergebnisse Leitfadengestützter Interviews im September 2015):

Prof. Dr. Manfred Fahle (Fachbereich Biologie/Chemie, Studiengang Biologie):

Professor Fahle setzte seit 2010 Jahren die vom ZMML verliehenen Hardware Clicker in zwei seiner jeweils 90 minütigen Vorlesungen im Bachelorstudiengang Biologie ein: "Tierphysiologie und Humanbiologie 2 (NHZ2)" mit ca. 120 Studierenden und "Grundprinzipien der Neurophysiologie und –anatomie (PM1-6)" mit ca. 30 Studierenden. Da nur 40 Geräte zur Verfügung stehen, werden in NHZ2 zur Beantwortung Kleingruppen mit je 2 bis 3 Studierenden gebildet. Im Verlauf der Vorlesung folgt auf ca. 15minütige Lehreinheiten jeweils eine Frage (2 bis 3 Minuten pro Clicker-Session). Der Zeitbedarf des ARS-Einsatzes liegt insgesamt bei etwa 15 Minuten Es handelt sich überwiegend um Single-Choice Fragen vom Typ "Welche der folgenden 5 Aussagen ist falsch?". Die Fragen repräsentieren die primären Lernziele der Veranstaltung und ähneln den Fragen in der E-Klausur. Nach Zeitablauf erscheint das Abstimmungsergebnis automatisch. Bei überwiegend richtigen Antworten wird kurz erläutert, warum die betreffende Aussage falsch war und dann die Vorlesung fortgesetzt. Bei nur 50% oder weniger korrekten Antworten wird der Stoff in ca. 2 bis 3 Minuten in angepasster, konzentrierter Form wiederholt. Technisch gab es bisher keine Probleme und es wurden keine Geräte entwendet. Der Zeitaufwand für die Integration der Clicker-Fragen in die Powerpoint-Präsentation ist gering. Die in den Diskussionsphasen bei NHZ2 entstehende Unruhe im Hörsaal ist nach Ablauf der Clicker-Session und Präsentation des Ergebnisses sofort beendet. Durchschnittlich waren, trotz nicht trivialer Fragen, über 70% der Antworten korrekt. Die Aufmerksamkeit in der Vorlesung konnte nicht nur dank des Clicker-Einsatzes, sondern auch vieler anschaulicher Fallbeispiele durchgängig gehalten werden. Gedankenexperimente wie "Was würde es für Sie bedeuten, wenn ihr Exkretionssystem nicht 99% des Primärharns rückresorbieren würde" tragen zum Erhalt der Aufmerksamkeit bei. Ein Abnutzungseffekt zum Semesterende war nicht feststellbar, die Beteiligung an den Abstimmungen mit ca. 90% durchgängig hoch. Die Notwendigkeit zu Gruppen-Abstimmungen in NHZ2 erwies sich als vorteilhaft, da die Reflektion der Inhalte durch die Diskussion der Studierenden untereinander verstärkt wurde. In der Lehrevaluation wurde der Clicker-Einsatz auf einer Skala von 1 (sehr positiv) bis 5 (sehr negativ) im Mittel mit 1,4 bewertet. Ein Studierender dazu: "Mithilfe der Clicker-Fragen konnte man gut einschätzen, ob man die Sachverhalte verstanden hatte. Außerdem wurde man "Aufgeweckt", sollten die Gedanken abgeschweift sein. Ansonsten wurde der Vorlesungsstoff durch nette Anekdoten und lockerem Stil gut aufgenommen". Als gute Voraussetzung für den ARS-Einsatz erwies sich die im Verlauf der langjährigen Lehrtätigkeit erreichte Reduktion der Stofffülle um ca. 25% zugunsten einer lernförderlichen Vorlesungsatmosphäre.

Prof.Dr. Martin Möhrle (Fachbereich 7: Wirtschaftswissenschaft):

Die 90-minütige Vorlesung „Marketing“ wird im Sommersemester für Studierende der Betriebswirtschaftslehre im 2. Fachsemester und aller weiteren wirtschaftsbezogenen Studiengänge sowohl in Präsenz als auch als Mobile-Lecture (mlecture.uni-bremen.de) angeboten. Die Teilnehmerzahl lag 2014 bei 900, 2015 bei über 1000. In der Präsenzveranstaltung waren zu Semesterbeginn jeweils etwa 700, zum Semesterende noch etwa 200 Studierende anwesend. In beiden Semestern wurden über PINGO nach ca. 45 min wenige Wissens- oder Einschätzungsfragen gestellt, die sich auf die Inhalte der ersten Vorlesungshälfte bezogen. Dieser Zeitpunkt wurde gewählt, da die Aufmerksamkeit der Studierenden dann erwartungsgemäß sinkt und die Unruhe im Hörsaal zunimmt. Die Multiple-Choice-Fragen wurden so gestaltet, dass die korrekte Antwort nicht offensichtlich ist sondern die Lösung bei den Studierenden einen Aha-Effekt auslöst. Beispiel: "Der relevante Markt für Gummibärchen umfasst …" mit den Antwortoptionen Fruchtgummis, Schokoladenprodukte, Spielförmchen für den Sandkasten und Schnuller (Mehrfachwahl möglich). Erwartungsgemäß entschieden sich knapp 70% der Studierenden für Fruchtgummis, richtig sind aber, je nach zugrundeliegendem Konzept, alle vier Antworten. Trotz der großen Zuhörerschaft gab es weder technische noch organisatorische Probleme, auch bei mehr als 200 Teilnehmenden war die WLAN-Kapazität ausreichend. Der Zeitbedarf für den ARS-Einsatz lag bei nur 3-5min. Das Ziel, auf diese Weise die Aufmerksamkeit der Studierenden wieder einzufangen gelang anfangs, die Teilnahmequote lag bei ca. 30 bis 50%. Der gewünschte Effekt nahm im Laufe des Semesters jedoch deutlich ab, so dass im Sommersemester 15 nicht mehr jede Vorlesung mit ARS-Fragen angereichert wurde. Prof. Möhrle dazu: "In Großveranstaltungen sind ARS wie Gewürze: Sie sind nützlich, wenn man sie sparsam verwendet."

Tobias Tkaczick (Fachbereich Sozialwissenschaften, Studiengang Geographie):

Tobias Tkaczick ist Lektor im Fachbereich 8 (Studiengang Geographie) und setzte ab Wintersemester 2012/2013 regelmäßig PINGO für die 90-minütige Vorlesung der Einführung in die Kartographie ein. Die 100 bis 160 Teilnehmenden sind Vollfächlern für den B.Sc. und den B.A. im 1. Fachsemester, aber auch Lehramtsstudierende und Komplementärfächler im 3. Fachsemester. Zu Vorlesungsbeginn dienen zunächst zwei Wiederholungsfragen dazu, den Stoff der letzten Vorlesung in Erinnerung zu rufen und einen Einstieg in das neue Thema zu finden. Im weiteren Verlauf schließen jeweils ca. 20-minütige Lehreinheiten mit einer PINGO-Session ab, in der die Studierenden über Anwendungs- und Verständnisfragen überprüfen können, ob sie den zuvor gehörten Stoff verarbeitet haben. Wurden z.B. in der Lehreinheit kartographische Informationssysteme separat besprochen, sollen diese in der Fragerunde in einer komplexen Karte über eine Mehrfachwahl-Aufgabe identifiziert werden. Diskussionen in der ca. 1-2 minütigen Abstimmungsphase sind ausdrücklich gewünscht. Nach Präsentation des Ergebnisses kehrt sofort wieder Ruhe ein und die Lösung wird, in Abhängigkeit vom Antwortverhalten, nur kurz erläutert oder mit dem Plenum diskutiert. Ein Mix aus einfachen und komplexeren Fragen schafft die Balance aus regelmäßigem Erfolgserlebnis und Herausforderung. Die Tiefe der ARS-Fragen ist gegenüber denen der Klausur begrenzt, da sie sich an der kurzen Abstimmungszeit orientieren müssen. Sind es anfangs ca. 70% der Studierenden, die sich an den Abstimmungen beteiligen, liegt der Anteil zum Semesterende bei etwa 40%. Die Gründe für diesen Rückgang sind unklar. Der ARS-Einsatz dient neben dem Feedback zum Lernerfolg und der Interaktion mit den Studierenden auch einer Auflockerung der sonst langen Präsentationsphasen. Der Dozent erhält zudem ein sofortiges Feedback, ob die Vermittlung der Inhalte geglückt ist. Die durch den, bei ca. 15 Minuten liegenden, Zeitbedarf des PINGO-Einsatzes notwendig gewordene Reduktion des Vorlesungsstoffes auf das Wesentliche wird als positiver Nebeneffekt empfunden. Die Studierenden zeigen sich in der Lehrveranstaltungsevaluation von dem PINGO-Einsatz begeistert, dieser wird auch in den kommenden Semestern fortgesetzt.