Autor: Victoria Castrillejo

Erfahrungsberichte zu Blackboard-Tests und Umfragen und E-Examinations im E-Learning Wiki

Falls Sie sich von der Erfahrung von anderen Lehrenden inspirieren lassen möchten, finden sie hier eine Auswahl von Erfahrungsberichten.

Diese Berichte finden Sie im CeDiS Wiki „E-Learning an der Freien Universität Berlin: Einsatzformen und Werkzeuge„. Sie zeigen die Vielfältigkeit der Einsatzszenarien von E-Assessment Werkzeugen an der Freien Universität Berlin.

Erfahrungsberichte zu Blackboard-Tests:

Erfahrungsberichte zu Blackboard-Umfragen

Weitere Ressourcen zum E-Assessment

Computergestützte Prüfungen standen bereits 2015 im Mittelpunkt der E-Learning-Tagung GML² an der Freien Universität Berlin.

Die Tagung GML² 2015 E-Examinations: Chances und Challenges  widmete sich zentralen Aspekten digitaler Prüfungen: Welche technischen Lösungen haben sich in den vergangenen Jahren bewährt? Welche didaktischen Ziele können verfolgt werden? Wie können Prüfer/innen die logistischen Anforderungen bei Massenprüfungen mit mehreren hundert Teilnehmer/innen handhaben? Wie werden rechtliche Anforderungen und Sicherheitsstandards gewährleistet? Welche Softwarelösungen sind erhältlich?

Nationale und internationale Experten aus Wissenschaft und Praxis trafen sich in Berlin, um diese Fragen zu beantworten.

Die Veranstaltungsvideos sind hier einsehbar: http://www.gml-2015.de/mediathek/index.html

Die Tagungsband kann kostenlos herunterladen werden:
http://www.gml-2015.de/tagungsband-gml-2015/GML-2015_Tagungsband_web.pdf

Online-Umfragen, -Tests und -Prüfungen: Computergestützte Prüfungen rechtssicher durchführen (10/10)

Computergestützter Prüfungen an der Freien Universität

Die Computerisierung des Prüfungswesens hält an der Freien Universität immer stärker Einzug in Bachelor- und Masterstudiengänge. Im Sommersemester 2018 wurde sogar erstmals ein Staatsexamen im Fach Veterinärmedizin erfolgreich durchgeführt. Computergestützte Semesterabschlussprüfungen (sog. E-Examinations) werden an der Freien Universität im eigens dafür hergerichteten E-Examination Center (EEC) durchgeführt (Schulz 2017). Das im Februar 2013 in Betrieb genommene EEC ist ein speziell für computergestützte Prüfungen optimierter und vollausgestatteter Großraum. Das EEC ist das erste Center dieser Art in der Region Berlin-Brandenburg. Insgesamt stehen dort 151 PC-Prüfungsplätze inkl. 6 behindertengerechter Plätze zur Verfügung. Seit der Eröffnung des EECs bis heute (August 2018) wurden dort mehr als 84.000 Studierende und Studienbewerber computergestützt geprüft. Ein zweites Prüfungszentrum (EEC2) mit 181 Prüfungsplätzen wird 2019 in Betrieb genommen werden.

Potenziale computergestützter Prüfungen

Gegenüber klassisch schriftlichen Prüfungen weisen computergestützte Prüfungen eine Reihe von Vorteilen auf. Der Augenscheinlichste liegt darin, dass durch die Digitalisierung der gesamte Prüfungsdurchführungsprozess deutlich zeiteffizienter und qualitativ effektiver wird. Konkret bedeutet dies, dass Lehrende durch (teil-)automatisierte Bewertungen und durch das Wegfallen nichtleserlicher Handschriften computergestützte Prüfungen erheblich schneller bewerten können und Studierenden diese Ergebnisse kurzfristiger bereitstellen können (Schulz und Apostolopoulos 2011). Ein weiterer Vorzug computergestützter Prüfungen ist, dass durch die konsequente Anwendung von Examination-Analytics (z.B. Interpretation der stat. Kennziffern wie Trennschärfe und Schwierigkeitsgrad) eine gleichbleibend hohe Prüfungsqualität für große Kohorten gewährleistet werden kann, was bei schriftlichen Prüfungen früher nur mit erheblich mehr Aufwand möglich war.

Grundsätzliche Prüfungstypen

Genau wie klassisch schriftliche Prüfungen können auch computergestützte Prüfungen als unterschiedliche Prüfungstypen eingesetzt werden. Mit der an der Freien Universität Berlin eingesetzten Prüfungssoftware sind sowohl diagnostische (z.B. Spracheinstufungstests vor dem Semesterbeginn), formative (z.B. Lernstandsmessungen während des Semesters) als auch summative Prüfungen (z.B. Semesterabschlussprüfungen) umsetzbar.

Rechtliche Sicherheit

Die basalen rechtlichen Grundlagen für die Durchführung computergestützter Prüfungen sind in der Rahmenstudienprüfungsordnung (RSPO) der Freien Universität Berlin bereits seit 2013 geregelt: https://www.fu-berlin.de/studium/studienorganisation/pruefung/Allgemeine-Richtlinien-Satzungen-und-Ordnungen.html

Durch die enge Zusammenarbeit des CeDiS, der Rechtsabteilung der Freien Universität Berlin und den Berliner Verwaltungsrichtern für Prüfungsrecht Edgar Fischer und Dr. Christoph Jeremias konnten für derzeit alle von CeDiS angebotenen computergestützten Prüfungen im EEC rechtlich belastbare Modus Operandi definiert werden. Ein umfangreiches Rechts-FAQ wird vom Bereich E-Learning und E-Examinations bei CeDiS derzeit vorbereitet.

Technische Sicherheit

Die technische Durchführungssicherheit computergestützter Prüfungen wird an der Freien Universität Berlin durch die konsequente Anwendungen eines technischen Methodenmixes gewährleistet, der u.a. folgende Eckdaten beinhaltet:

  • Einsatz dedizierter und redundanter Server-Cluster zur Prüfungsdatenspeicherung, der im Data-Center der Rechenzentrums ZEDAT steht und auf mehrere Havariestufen (bis hin zum Stromausfall) vorbereitet ist.
  • Hermetische Abriegelung des Prüfungsnetzes: Prüfungsrechner haben keinerlei Internetzugriff und sind von außerhalb des EEC-Netzwerkes nicht erreichbar.
  • Verwendung der langzeiterprobten Prüfungsplattform  LPLUS Test-Management-Systems (LTS), die auch in den meisten E-Assessment-Centern im deutschsprachigen Raum (Uni-Bremen, Uni Wuppertal, Uni Duisburg-Essen, Uni Frankfurt/M., TU Cottbus) ebenfalls eingesetzten wird.
  • Fortlaufende softwareseitige Zwischenspeicherung der von Prüfungsteilnehmenden ins LTS eingegebenen Prüfungsantworten im 30 sekündigen Rhythmus

Beratung und Unterstützung

Das CeDiS unterstützt Lehrende bei der technisch-didaktischen und logistischen Vorbereitung von Prüfungen mit großen Kohorten, bei der technischen Durchführung der Prüfungen im EEC und bei der Bewertung der Prüfungen. Auf Wunsch können erstellte Prüfungsfragen im Vorfeld auch einer prüfungstaxonomischen Evaluation nach der CELG-Taxonomie (Mayer et al. 2009) unterzogen werden, um die während des Semesters stattfindenden Lernaktivitäten der Studierenden noch stärker auf die in der Prüfung zu messenden Kompetenzen justieren zu können.

 

Möchten Sie als Lehrerende*r von den Vorteilen computergestützten Prüfungen profitieren, dann kontaktieren Sie das E-Examination Team. Sie erreichen uns unter der Rufnummer:  838 – 51838 oder per E-Mail unter e-examinations@cedis.fu-berlin.de

Das EEC befindet sich in der Fabeckstraße 34-36, 1.OG im Gebäude der anorganischen Chemie.

Weitere Informationen:

E-Examinations an der Freien Universität Berlin:
http://www.e-examinations.fu-berlin.de/index.html

Literaturverzeichnis

Mayer, Horst O.; Hertnagel, Johannes; Weber, Heidi (2009): Lernzielüberprüfung im E-Learning. München: Oldenbourg.

Schulz, Alexander (2017): E-Assessment-Center im Vergleich. TU Dresden: Medienzentrum. Dresden. Online verfügbar unter http://www.qucosa.de/recherche/frontdoor/?tx_slubopus4frontend%5bid%5d=urn:nbn:de:bsz:14-qucosa-224532, zuletzt geprüft am 25.08.2017.

Schulz, Alexander; Apostolopoulos, Nicolas (2011): eExaminations Put To Test – Potenziale computergestützter Prüfungen. In: Hamburger E-Learning Magazin (07), S. 37–39. Online verfügbar unter http://www.uni-hamburg.de/elearning/hamburger-elearning-magazin-07.pdf, zuletzt geprüft am 04.12.2016.

 

Online-Umfragen, -Tests und -Prüfungen: Peer-Review fördern (8/10)

Blackboard hat ein Tool, um Studierende die Arbeit von anderen Studierenden beurteilen/bewerten zu lassen. Es handelt sich um den Selbst- und Peertest.

Teilnehmer/innen können in einer Selbst- und Peertest Aufgabe die Arbeiten von anderen Teilnehmenden durch eine kriterienbasierte Referenzbewertung überprüfen/bewerten. Lehrende legen in den Einstellungen die Anzahl von Peer-Bewertungen pro Teilnehmer/in fest.

Der Blackboard Selbst- und Peertest stellt sicher, dass die Teilnehmer/innen Feedback von verschiedenen Einzelpersonen erhalten. Die Bewertung findet anhand von definierten Kriterien statt. (Rubriken)

Lehrende müssen einen Selbst- und Peertest genau planen, um genügend Zeit für die Übermittlung und Bewertung zu gewähren. Es gibt für diese Aktivitäten zwei Abgabedaten: eins für die Übermittlung der Aufgabe und eins für die Übermittlung der Peer-Bewertung.

Sowohl Selbstbewertungen als auch anonyme Bewertungen sind möglich.

Lehrende können Selbst- und Peertests in Inhaltsbereichen/Ordnern und Lernmodulen hinzufügen.

Um einen Selbst- und Peertest zu gestalten, befolgen Sie bitte folgende Schritte:

  1. Wählen Sie im Menü „Tests“ die Option „Selbst- und Peertest“ aus.

2. Geben Sie auf der Seite „Selbst- und Peerprüfung erstellen“ einen Namen und Anweisungen ein. Sie können die Funktion „Datei einfügen“ im Editor optional zum Hinzufügen von Dateien verwenden.
Legen Sie Anfangs- und Enddatum für die Übermittlung fest.

3.  Im gleichen Fenster können Sie die Optionen für Selbst- und Peerbewertung festlegen. Sie müssen ein Anfangs- und ein Enddatum für die Peerbewertungen eingeben. Optional können Sie anonyme Bewertungen und Selbstbewertungen zulassen.
Klicken Sie bei „Bewertungsergebnisse dem Übermittler anzeigen“ auf „Ja“, um Übermittler ihre eigenen Bewertungsergebnisse sehen zu lassen. Legen Sie unter „Anzahl zu bewertender Übermittlungen“ fest, wie viele Prüfungen ein/e Teilnehmer/in bewerten sollte. Die Zahl enthält nicht den Ersteller der Prüfung. Wenn Sie Selbstbewertungen wünschen, geben Sie (0) ein. Klicken Sie auf „Senden“, um Ihre Eingabe zu speichern.

Selbstverständlich können Studierende auch mit anderen Blackboard-Tools Feedback zu den Arbeiten ihrer Kommiliton/innen geben, z.B innerhalb von Blackboard-Gruppen, Blackboard-Wikis oder Foren. Die Besonderheit des Blackboard-Tools Selbst- und Peertest besteht darin, dass Peer-Review-Prozesse strukturiert werden und dass alle abgegebenen Kommentare und Bewertungen übersichtlich im Notencenter abrufbar sind.

Nachteil dieses Blackboard-Tools ist der notwendige organisatorische Aufwand, damit die Fristen für Abgaben und Bewertungen eingehalten werden.

Mehr dazu:

Blackboard-Hilfe: Selbst- und Peerbewertung: https://help.blackboard.com/de-de/Learn/Instructor/Assignments/Self_and_Peer_Assessment

 

Online-Umfragen, -Tests und -Prüfungen: Probeklausur durchführen (ggf. mit Timer) (7/10)

In vorherigen Beiträgen haben wir die Schritte gezeigt, die notwendig sind, um einen Blackboard-Test zu gestalten .

Blackboard-Tests können vielfältig und semesterbegleitend eingesetzt werden.

Am Anfang des Semesters können Blackboard-Tests eingesetzt werden, um studentisches Vorwissen zu testen.

Semesterbegleitend können Blackboard-Tests als Selbsttest genutzt werden, um einen wöchentlichen oder zweiwöchentlichen Lernrhythmus einzuführen und sogenanntes Bulimie-Lernen zu vermeiden.

Am Ende des Semesters können Blackboard-Tests als Probeklausur eingesetzt werden, damit die Studierenden vorab üben können.

Anleitungen, um einen Blackboard-Test zu gestalten, finden Sie im Beitrag „Studentisches Vorwissen testen“. Wird Blackboard für die Probeklausur eingesetzt, können einige Einstellungen helfen, einen klausurähnlichen Kontext herzustellen.

Die Einstellungsmöglichkeiten können unter „Testoptionen“ bearbeitet werden. In dieser Eingabemaske können Sie u.a. die Verfügbarkeit des Tests, die Fälligkeitstermine, die Anzahl der Versuche und die Präsentation der Fragen bestimmen. Sie speichern Ihre Angaben, indem Sie den Button „Senden“ klicken.

Testoptionen
Unter „Testoptionen“ können Sie den Namen und die Beschreibung des entsprechenden Tests bearbeiten.


Ebenfalls unter „Testoptionen“ wird der Test freigeschaltet. Kursleiter/innen müssen die Option „Link verfügbar machen“ auf „Ja“ setzen, damit der Test für die Kursteilnehmer/innen sichtbar ist.

Wenn ein Test für Übungszwecke und Selbsteinschätzung der Teilnehmer/innen eingesetzt wird, werden in der Regel mehrere Versuche zugelassen.

Unter „Testoptionen“ lässt sich auch ein Fälligkeitsdatum für den Test festlegen. Übermittlungen nach dem Fälligkeitsdatum werden akzeptiert, aber mit „Verspätet“ gekennzeichnet. Optional kann auch verhindert werden, dass der Test nach dem Fälligkeitsdatum absolviert werden kann.

Standardmäßig werden Testergebnisse im Notencenter angezeigt und in Ergebnisberechnungen einbezogen. Kursleiter/innen können optional die Ergebnisse eines Tests vollständig ausblenden. Das heißt, dass Kursleiter/innen keine Einsicht in die Antworten und Noten der Teilnehmer/innen für diesen Test erhalten und dementsprechend keine Korrekturen/Feedback eintragen können. Wir empfehlen, die Option „Ergebnisse dieses Tests für den Kursleiter und im Notencenter vollständig ausblenden“ NICHT zu aktivieren. Wenn diese Option aktiviert ist, können Lehrende keine Testversuche einsehen und benoten. Dadurch wird die Analyse des Schwierigkeitsgrads von Einzelfragen und des Notendurchschnitts verhindert.

Ebenfalls unter „Testoptionen“ können Kursleiter/innen bestimmen, ob Teilnehmer/innen die gesendeten Antworten, die richtigen Antworten und das vom Kursleiter gegebene Feedback einsehen können. Für Selbsttests empfiehlt es sich „Alle Antworten“, „Richtig“ und „Gesendet“ sowie das Feedback des Kursleiters anzuzeigen.

Unter „Testpräsentation“ können Kursleiter/innen bestimmen, ob alle Fragen auf einmal (der ganze Test auf einem Bildschirm) oder nacheinander (nur eine Frage pro Bildschirm) angezeigt werden sollen.

Die Option „Fragen mit Zufallsgenerator sortieren“ lässt die Fragen in einer zufälligen Reihenfolge erscheinen.

Mehr dazu:

Blogpost 6: Postkarte 1: Studentisches Vorwissen testen : https://blogs.fu-berlin.de/fortbildung/2018/06/27/studentisches-vorwissen-testen/

Blogpost 7: Testergebnisse mit den Studierenden im Unterricht besprechen

Blackboard Hilfe: Optionen für Tests und Umfragen https://help.blackboard.com/de-de/Learn/Instructor/Tests_Pools_Surveys/Test_and_Survey_Options

 

 

Blackboard Umfragen: Evaluationsvorlagen nutzen 

Wir haben in vorherigen Beiträgen gezeigt, wie mittels Blackboard-Umfragen Feedback anonym gesammelt werden kann. Die Anonymität macht Blackboard-Umfragen zu einem gut geeigneten Tool, informelle Aspekte Ihrer Lehre zu evaluieren.

Das CeDiS hat passende Vorlagen für selbstständige E-Learning-Evaluationen durch Lehrende zur Verfügung gestellt. Sie sind auf der CeDiS-Seite https://www.cedis.fu-berlin.de/services/e-learning/werkzeuge/fragebogen/ in drei Formaten verfügbar.

  • Fragebogen zum Blackboardimport – ZIP : Eine Datei, die Sie lokal speichern können und in einen Blackboardkurs importieren können (bei Bedarf in Blackboard bearbeitbar).
  • Fragebogen zum Ausdrucken – PDF 
  • Fragebogen zum Bearbeiten und Ausdrucken – RTF 

Immer mehr Lehrende reichern ihre Lehrveranstaltungen mit E-Learning-Elementen an und viele fragen sich, wie die Studierenden dies annehmen und bewerten. Ein Feedback der Veranstaltungsteilnehmenden kann dazu beitragen, den Mehrwert des E-Learning-Einsatzes in einer Lehrveranstaltung für alle Beteiligten zu erhöhen.

Durch die Bereitstellung mehrerer Fragebögen zu unterschiedlichen thematischen Schwerpunkten, die für den Einsatz in einem Kurs innerhalb der Lernplattform Blackboard optimiert wurden, entsteht ein Baukasten für eine maßgeschneiderte Evaluation spezifischer Lehrszenarien. Die Fragebögen können einzeln eingesetzt oder miteinander kombiniert werden. Bei Bedarf können Sie alle Fragen bearbeiten oder löschen und neue Fragen hinzufügen. Bitte beachten Sie jedoch, dass eine Veränderung der Fragebögen die Güte der erhobenen Daten beeinflussen kann.

Von Vorteil ist dabei nicht nur, dass die Studierenden die Befragung in der ihnen vertrauten Kursumgebung bearbeiten können, der Arbeitsaufwand für die Auswertung reduziert sich auch erheblich für Sie, da die Ergebnisse unmittelbar in Blackboard eingesehen oder die Rohdaten zur Weiterverarbeitung exportiert werden können.

Der Baukasten besteht zur Zeit aus vier Fragebögen:

Schritt-für-Schritt-Anleitung für den Blackboardimport (PDF) »

 

Mehr dazu:
Evaluationsvorlagen mit Blackboard-Umfragen: https://www.cedis.fu-berlin.de/services/e-learning/werkzeuge/fragebogen/index.html

Anleitungen Umfrageimport: https://www.cedis.fu-berlin.de/services/e-learning/werkzeuge/fragebogen/frageboegen/anleitung_umfrageimport.pdf

Anonymes Feedback mit Blackboard-Diskussionsforen einsammeln: https://blogs.fu-berlin.de/fortbildung/2015/12/08/blackboard-eine-lernplattform-viele-moeglichkeiten-10/

Online-Umfragen, -Tests und -Prüfungen: Regelmäßiges Lernen mit Selbsttest fördern (5/10)

Mit Blackboard-Tests können Sie einen wöchentlichen Lernrhythmus einführen.

„Online-Umfragen, -Tests und -Prüfungen: Regelmäßiges Lernen mit Selbsttest fördern (5/10)“ weiterlesen

Was sind Blackboard Übungen?

Übungen sind eine dateibasierte Blackboard-Funktionalität. Als Grundlage dient dabei eine von den Lehrenden zur Verfügung gestellte Übungsdatei, z.B. in Form einer Text-, PDF- oder Excel-Datei.

Im Unterschied zu Tests und Umfragen werden keine Fragen direkt in der Blackboard Oberfläche beantwortet. Bei Übungen laden die Studierenden die Übungsdatei herunter, erfüllen die gestellten Aufgaben und laden die veränderte Datei wieder hoch.

Lehrende können die Übungen benoten. Die Note kann in die Kursgesamtnote einbezogen werden.

Um Übungen in Blackboard zu erstellen, befolgen Sie bitte diese Schritte:

Übungen sind eine dateibasierte Blackboard-Funktionalität. Als Grundlage dient dabei eine von den Lehrenden zur Verfügung gestellte Übungsdatei, z.B. in Form einer Text-, PDF- oder Excel-Datei.

„Was sind Blackboard Übungen?“ weiterlesen

Anzeige und Benotung von Ergebnissen im Notencenter

Lehrende können direkt im Notencenter einsehen, ob Übungen, Tests und Umfragen von Studierenden abgegeben wurden.

Wenn ein Test automatisch auswertbar ist, werden die Ergebnisse direkt angezeigt (Abbildung, Spalte A).

Wenn in einem Test offene und geschlossene Fragetypen kombiniert sind, wird eine manuelle Benotung erforderlich (Abbildung Spalte B). Das Ausrufezeichnen signalisiert im Notencenter die Tests, die eine manuelle Auswertung erfordern. Lehrende können das Ausrufezeichen anklicken und den Test benoten.

Bei Umfragen wird angezeigt, ob die Umfrage abgeschlossen wurde (grünes Check-Symbol, Abbildung, Spalte C).

Das Symbol des blauen Kreises signalisiert bei Tests und Umfragen, dass sie sich in Bearbeitung (von Studierenden begonnen aber noch nicht abgesendet) (Abbildung, Spalte C, zweite Zeile) befinden.

Lehrende können die Zellen anklicken, um die Ergebnisse anzusehen bzw. zu benoten.

„Anzeige und Benotung von Ergebnissen im Notencenter“ weiterlesen

Notencenter anpassen (2/2). Berechnete Spalten einfügen

Berechnete Spalten verwenden Daten aus mehreren Spalten, um Leistungsergebnisse zu ermitteln. Dafür wird die Spaltenart der Gewichteten Spalte verwendet. Mit dieser Funktion können Sie Spalten anlegen, in der die von der Lehrperson definierte Gewichtung von Einzelaufgaben angezeigt wird. Optional können Sie die Ergebnisse von berechneten Spalten auch für die Teilnehmenden freigeben.

Neue Spalten einfügen:  Um eine Spalte neu einzufügen, sind folgende Schritte notwendig.

1.Im Steuerungsfenster klicken Sie auf „Gesamtes Notencenter“.

„Notencenter anpassen (2/2). Berechnete Spalten einfügen“ weiterlesen