EvaExam
EvaExam ist ein Prüfungssystem sowohl für Online- als auch für Papier-Prüfungen. Online-Prüfungen mit EvaExam können zuhause oder in Prüfungsräumen an der Hochschule geschrieben werden. Neben Prüfungen können auch Online-Übungen durchgeführt werden, bei denen den Lehrenden kein Prüfungsdashboard zur Verfügung steht.
Es gibt verschiedene Fragenformate:
- Multiple und Single Choice
- wahr/falsch
- Zuordnungsfragen
- offene Fragen
- segmentierte Fragen
- Kprim Fragen
- Hotspot-Fragen
Formeln werden über einen Formeleditor mit LaTex eingegeben, die LaTex-Formel wird auch in die Beschreibung eingegeben, damit sie mit Screenreadern gelesen werden kann. Videos können mit Untertiteln eingefügt werden, falls es keine Fassung mit einer Audiodeskription gibt, können ausführliche Textbeschreibungen für Prüfungsteilnehmer*innen mit Sehbeeinträchtigung und Blindheit hinzugefügt werden.
EvaExam erfüllt nach eigenen Angaben die Kriterien der WCAG Level AA. Im Accessibility Conformance Report von Januar 2023 wird dokumentiert, dass alle Kriterien der WCAG 2.1 Level A und AA erfüllt werden. In dem Bericht wird allerdings nicht unterschieden, ob ein Kriterium erfüllt wird, nicht anwendbar ist oder abhängig von den Ersteller*innen/Autor*innen der Prüfungen ist. Dies kann den Kommentaren entnommen werden. In der Erklärung wird zudem nicht erwähnt, dass die Hotspotfrage nicht mit der Tastatur bedienbar ist.
Im Handbuch werden die Autor*innen darauf hingewiesen, was beachtet werden muss, um die Prüfung barrierefrei anzulegen. Nur an dieser Stelle wird ausgewiesen, welche Optionen der Plattform nicht WCAG-konform sind:
- die Fortschrittsanzeige
- die Darstellungsoption „große Bedienelemente“
- der Fragetyp „Hotspot-Frage“
Die Hinweise für Autor*innen für eine barrierefreie Erstellung von Prüfungen könnten auf der Plattform besser unterstützt werden, wenn direkt im Autor*innen-Tool Warnhinweise angebracht werden und bestimmte Verstöße gegen die WCAG-Kriterien gar nicht erst möglich wären. So kann man z. B. Bilder hochladen, ohne das Feld für den Alternativtext auszufüllen. Sie werden automatisch als dekorative Bilder übernommen und deshalb auch nicht als Fehler bei der Barrierefreiheitsprüfung des Systems erkannt.
Ist die erstellte Klausur aus technischer Sicht des Systems barrierefrei, erscheint am Fuß der Klausur ein WCAG-Logo (Screenshot 1).
Wenn kein WCAG-Logo erscheint, gibt es keine weiteren Erklärungen dazu auf der EvaExam-Plattform. Im Handbuch werden die Ersteller*innen darauf verwiesen, sich die Fehler über die Java-Script-Konsole im Browser anzeigen zu lassen. Diese Meldungen sind allerdings nur für Expert*innen verständlich (Screenshot 2).
Das WCAG-Logo erscheint standardmäßig nicht, wenn Videos eingebaut werden, obwohl dies barrierefrei möglich wäre, da sich Untertitel und ausführliche Beschreibungen hinzufügen lassen. Hier wäre es sinnvoller, anstatt das WCAG-Logo vorsichtshalber wegzulassen, eine technische Lösung im Autor*innen-Tool zu finden. Im Autor*innen-Tool könnte per Default vorgesehen sein, dass man Untertitel zum Video hochladen muss oder eine Option ankreuzen muss „Untertitel nicht nötig“.
Testergebnisse
Stand: März 2024
EvaExam lässt sich mit assistiven Technologien im Wesentlichen gut bedienen. Für Sprachsteuerung, Zoomtext, Browservergrößerungen und Farbumkehr sind keine Barrieren aufgetreten. Für Screenreadernutzer*innen war es jedoch zunächst schwierig, die Art und Weise zu verstehen, wie Fragen und Antwortoptionen vorgelesen wurden. Die Tester*innen brauchten eine gewisse Zeit, um herauszufinden, wann sie die Antwortoptionen aktivieren können, da bei jeder Antwortoption die Frage noch einmal vorgelesen wurde. Dies wurde von allen Screenreadernutzer*innen als gravierende Barriere beschrieben. Es erfordert auch eine hohe Konzentration, was in Prüfungssituationen einen echten Nachteil darstellen kann.
Übersicht: Usability bei verschiedenen Arbeitstechniken
| Hilfsmittel/Arbeitstechnik | Testergebnis | Empfehlung |
|---|---|---|
| Screenreader | funktioniert mittelmäßig | o |
| Tastaturbedienung | funktioniert gut | + |
| Sprachsteuerung (iOS) | funktioniert gut | + |
| Vergrößerung/Kontraste | funktioniert gut | + |
| ohne assistive Technologie | funktioniert gut | + |
+ = gut geeignet; o = mittelmäßig geeignet, Anpassungen nötig; - = ungeeignet
Hinweise für Nutzer*innen
Online-Prüfungen können mit Screenreader geschrieben werden, fast alle Fragetypen können gut ausgefüllt werden. Allerdings ist die Art und Weise, wie Fragen und Antwortmöglichkeiten vorgelesen werden, nicht intuitiv und erfordert eine hohe Konzentration.
Barrieren
- Bei jeder Antwortoption wird die Frage noch einmal vorgelesen. Oft ist die Pause zwischen Antwortoption und Frage so kurz, dass es schwer ist, zu identifizieren, ob es sich schon um die Antwortoption handelt. Das erfordert eine hohe Konzentration und nimmt viel Zeit ein.
- Die HotSpot-Frage, bei der auf Bildern etwas markiert werden muss, kann mit Screenreadern nicht ausgefüllt werden.
Hinweise für die Nutzung
- Die Art und Weise, wie Fragen und Antwortoptionen vorgelesen werden, ist nicht intuitiv. Zunächst wird die Frage vorgelesen, es folgen die Antwortoptionen. Aber bei jeder Antwortoption wird die Frage noch einmal wiederholt. Die Pause zwischen Antwortoption und Fragewiederholung ist sehr kurz. Das macht es zunächst schwer zu erkennen, wann die Antwortoptionen beginnen.
- Man kann bei den Antwortoptionen das Vorlesen der Frage mit der Leertaste abbrechen.
- Es empfiehlt sich, vor der Klausur einmal eine Probeübung mit EvaExam auszuprobieren, um sich an diese Funktionsweise zu gewöhnen.
Mit der Tastatur lässt sich EvaExam ohne Probleme und mit dem üblichen Vorgehen ausfüllen. Ausnahme ist die HotSpot-Frage, die für die Tastatur nicht zugänglich ist.
Barrieren
- Die Hotspot-Frage lässt sich mit der Tastatur nicht beantworten, da keine Markierung gesetzt werden kann.
Mit der Sprachsteuerung lassen sich alle Fragearten von EvaExam bedienen. Bei manchen Fragearten ist die Bedienung etwas umständlicher und dauert länger. Elementsteuernde Nummern liegen manchmal über Antwortoptionen oder anderen Bestandteilen der Frage, sodass die Nutzer*innen warten müssen, bis sie ausgeblendet werden. Bei manchen Fragen ändern sich die Nummern, sobald eine Antwortoption angekreuzt wurde. Das erfordert bei Fragen mit mehreren Items eine gewisse Konzentration. Die HotSpot-Frage lässt sich nur über den Weg bedienen, ein Gitter über das Bild zu legen.
Hinweise für die Nutzung
- Bei einigen geschlossenen Fragen ändern sich die elementsteuernden Nummern nach jeder Aktion. Das kann zunächst verwirren.
- Manchmal verdecken elementsteuernde Nummern Teile der Antwortoption oder Formeln, deshalb sollte die Sprachsteuerung so eingestellt sein, dass die Nummern nach einer kurzen Zeit gedimmt werden.
- Die HotSpot-Frage, bei dem ein Bereich auf einem Bild markiert werden muss, lässt sich mit Einblenden des nummerierten Rasters ausfüllen.
- Es empfiehlt sich, vor der Klausur einmal eine Probeübung mit EvaExam auszuprobieren, um diese Besonderheiten bei der Sprachsteuerung kennenzulernen.
EvaExam lässt mit den verschiedenen Vergrößerungstechniken und Zoomtext gut bedienen. Die Plattform hat einen Schalter für die Kontrastumstellung. Es funktioniert aber auch eine voreingestellte Farbumkehr des Browsers, falls Nutzer*innen eigene Einstellungen im Browser benutzen. Es gibt lediglich einige Usability-Probleme.
Usability-Problem
- Die responsiv vergrößerte Ansicht bei der Zuordnungsfrage könnte verbessert werden. Die Items sind nicht leicht zu erkennen, da sie weder durch Abstand noch durch Fettung der Schrift hervorgehoben werden (Screenshot 3).
Hinweise für Lehrende
- Studierende, die Screenreader oder die Sprachsteuerung nutzen, sollten auf jeden Fall die Möglichkeit haben, eine Probeklausur zu schreiben. Dafür eignet sich das Format Online-Übung.
- Wer den Computer mit assistiven Technologien bedient, wird in der Klausur mehr Zeit benötigen.
- Wenn in Ihrer Lerngruppe Studierende sind, die Screenreader nutzen, ist die Hotspot-Frage für diese Studierenden nicht nutzbar. Vermeiden Sie deshalb diesen Fragetyp in der Klausur. Wenn das nicht möglich ist, brauchen diese Studierende eine alternative Umsetzung der Frage.
- Versehen Sie Fragegruppen mit Überschriften, das erleichtert es Screenreadernutzer*innen, innerhalb der Prüfung zu navigieren.
- Für die Erstellung von Formeln nutzen Sie den Formeleditor von EvaExam. In das Feld Beschreibung geben Sie die LaTex-Formel ein. Sie wird Screenreadernutzer*innen vorgelesen. Sie dürfen das Feld nicht frei lassen, weil dann den Screenreadern gar nichts vorgelesen wird (s. Screenshot 4).
![Fenster des Fomeleditors von oben nach unten: Formel bearbeiten. Formularfeld "Name", eingetragen Parabel; Formluarfeld "Beschreibungstext", eingetragen: f(x)=ax hoch 2 + bx + c; Formularfeld "Formel (LaText / MathML, eingetragen: \[f(x)=ax^2 + bx + c\]. Darunter Fenster mit dem Bild der Formel. Schalter "Übernehmen"](/storages/barrierefreiheit-nrw/r/Bilder/Barrierefreiheits-_und_Usability-Tests/EvaExam/EvaExam_Formeleditor.png)
Nachteilsausgleich
Die Testergebnisse sagen nichts darüber aus, ob individuelle Studierende einen Nachteilsausgleich benötigen oder nicht.
Ein Nachteilsausgleich bei Prüfungen ist ein zentrales Recht, um die Benachteiligung nach Möglichkeit zu kompensieren, die entsteht, wenn die Art einer Prüfung nicht zu den behinderungsbedingt bestehenden Bedarfen passt, und sorgt dafür, dass die betreffenden Studierenden gleichwertige Ausgangsbedingungen haben, um die Prüfungsleistung zu erbringen.
Das Recht auf Nachteilsausgleich ist im Hochschulgesetz NRW, § 64 und in den Prüfungsordnungen der Studiengänge verankert. Art und Umfang des Nachteilsausgleichs werden individuell festgelegt.
Deshalb lassen sich aus den Testergebnissen über die Barrierefreiheit von EvaExam keine Aussagen darüber treffen, ob und welcher Nachteilsausgleich für individuelle Studierende mit Behinderung sinnvoll ist. Da sich im Usability-Test zeigte, dass Studierende, die assistive Technologien nutzen, deutlich mehr Zeit zur Bearbeitung einer Prüfung benötigen, erscheint für diese Studierende als Nachteilsausgleich mindestens eine ausreichend bemessene Zeitverlängerung erforderlich. (In EvaExam können keine individuellen Zeitbegrenzungen angelegt werden, deshalb muss für die betreffenden Studierenden eine eigene Prüfung angelegt werden.)
Im Einzelfall kann es allerdings auch erforderlich sein, noch weitere Maßnahmen zu berücksichtigen, oder auch ganz von der Nutzung von EvaExam abzusehen und als Nachteilsausgleich ein anderes Klausurformat zu gewähren.
Die Testergebnisse geben aber Hinweise für die Nutzung von EvaExam für die Studierenden und die Lehrenden. Es empfiehlt sich, das Prüfungssystem zum Beispiel in Form einer Onlineübung auszuprobieren, um festzustellen, ob für die konkrete Person chancengleiche Prüfungsbedingungen hergestellt werden können. Über die Art des Nachteilsausgleichs muss immer individuell entschieden werden.
Hinweise für Entwickler*innen
Wir führen die in den Tests gefundenen Barrieren hier sortiert nach den Richtlinien der gültigen europäischen Norm EN 301 549 auf, auf die die BITV 2.0 des Bundes und der Länder verweisen. Die Richtlinien beschreiben die zu erfüllenden Erfolgskriterien. In der WCAG 2.1 sind zusätzlich Techniken angegeben, wie die Kriterien erfüllt werden können. BITV, EN 301 549 und die WCAG 2.1 sind deshalb wichtige Dokumente für die Entwickler*innen, um ihre Anwendungen barrierefrei zu programmieren. Der ARIA Authoring Practices Guide (APG) der W3C gibt zudem Hinweise zur Programmierung barrierefreier Webseiten. Die Nummern der Überschriften entsprechen den Kapitelnummern der EN 301 549.
9.1 Wahrnehmbar
9.1.3 Anpassbar
9.1.3.1a HTML-Strukturelemente für Überschriften
Bisher können Screenreadernutzer*innen nicht von Frage zu Frage zu springen. Dies kann ermöglicht werden, wenn den Fragen eine Überschriftenebene zugewiesen wird.
9.1.4 Unterscheidbar
9.1.4.4 Text auf 200% vergrößerbar
Bei der Zuordnungsfrage sollte die responsive Ansicht verbessert werden. Bisher sind die Items nicht auf den ersten Blick erkennbar, da der Abstand zu Frage und Antwortoptionen zu klein und die Items auch nicht durch Fettung ins Auge fallen.
9.3 Verstehbar
9.3.3 Fehlerunterstützung
9.3.3.3 Hilfe bei Fehlern
Die Warnhinweise bei der Abgabe, welche Fragen noch nicht beantwortet sind, sind nicht leicht zu finden. Sie erscheinen ganz oben auf der Seite, die Nutzer*innen befinden sich bei der Abgabe aber ganz unten auf der Seite.
11.8 Autorenwerkzeug
Die Autor*innen der Prüfungen sollten bereits beim Erstellen der Prüfung auf mögliche Barrierefreiheitsfehler aufmerksam gemacht werden. So sollte es per Default Pflicht sein, einen Alternativtext für Bilder einzugeben. Dekorative Bilder sollte es bei Prüfungen nicht geben. Im Formeleditor sollte die Eingabe der Beschreibung Pflicht sein. Die LaTex-Formel könnte auch direkt in das Beschreibungsfeld übernommen werden. Bei Videos sollte das Hochladen einer Untertiteldatei ebenfalls per Default erforderlich sein und nur durch Ankreuzen, dass keine Untertitel notwendig sind, umgangen werden.
Wenn die Autor*innen den Prüfungsbogen angelegt haben, sollten sie eine automatische Meldung bekommen, ob ihre Prüfung den WCAG-Kriterien Level AA entspricht. Wer im Handbuch nicht die Hinweise zur Barrierefreiheit liest, wird nicht beachten, ob das WCAG-Logo am Fuß der Seite erscheint oder nicht.
Wichtige weitere Empfehlungen
Es ist eine echte Barriere für Screenreadernutzer*innen, dass Frage bei jeder Antwortoption vorgelesen wird, siehe Testergebnis für Screenreader. Diese Verknüpfung sollte aufgehoben werden.
Lizenzhinweis
Zitiervorschlag
„EvaExam - Ergebnisse der Barrierefreiheits- und Usability-Tests und Empfehlungen zum Einsatz in Studium und Lehre. Kompetenzzentrum digitale Barrierefreiheit.nrw, Technische Universität Dortmund, Stand: März 2024“, Lizenziert unter: CC BY 4.0.
Ausgenommen von der Lizenz sind verwendete Logos, Bilder und Bedienoberflächen.
