Zum Inhalt
MOODLE

TestMaker


TestMaker ist ein Moodle Plug-in, mit dem Lehrende Self-Assessments für Studierende zur Kompetenzentwicklung erstellen können. Das Plug-in erlaubt es, Abhängigkeiten zu hinterlegen, sodass sich abhängig von den individuellen Antworten Inhalte des Fragebogens oder das Feedback verändern. Das Feedback beruht auf Auswertungsskalen zur Kompetenzentwicklung. Das Plugin wurde im Projekt #Digitalkompetenz.nrw und im Rahmen einer allgemeinen Testphase in der Sandbox von Moodle.NRW erprobt.

#Digitalkompetenz.nrw ist ein Verbundprojekt, das vom Land Nordrhein-Westfalen gefördert und von der DH.NRW empfohlen wird. Verbundpartner sind die Universität Bonn, die TH Köln, die Hochschule Niederrhein und die RWTH Aachen. Die Projektlaufzeit reicht von Januar 2024 bis Dezember 2026. In dieser Zeit entsteht ein Web-Angebot, mit dem Hochschulangehörige ihre Digitalkompetenzen erkennen, einschätzen und gezielt weiterentwickeln können. Der TestMaker stellt in diesem Rahmen das Self-Assessment-Tool dar, das die Einschätzung und Überprüfung des eigenen Kompetenzprofils ermöglicht.

Ziel unseres Tests war es, Barrieren und Usability-Probleme aufzudecken, die bei der Bedienung mit unterschiedlichen Arbeitstechniken auftreten, und daraus Hinweise für Lehrende, Hochschulen und die Weiterentwicklung des Plugins abzuleiten. Da sich das Plug-in noch in der Entwicklung befindet, fließen die Ergebnisse in die laufende Entwicklung ein.

TestMaker entsteht im Verbundprojekt #Digitalkompetenz.nrw und war zum Zeitpunkt des Tests noch nicht öffentlich verfügbar. Der Test des Kompetenzzentrums dient dazu, vor der Veröffentlichung Barrieren und Usability-Probleme festzustellen. Eine Veröffentlichung als Open-Source-Software ist für Ende 2026 vorgesehen. Eine formale Barrierefreiheitserklärung liegt deshalb für das Plug-in bislang nicht vor. Das Plugin wurde im Rahmen einer Testphase – vom 1. Juni bis 17. Juli 2026 in Kooperation mit Moodle.NRW – zur Erprobung bereitgestellt, in deren Rahmen auch dieser Test stattfand. Weiterführende Informationen finden sich auf den Seiten von Moodle.NRW sowie des Projekts #Digitalkompetenz.nrw.

Testergebnisse

Stand: Juli 2026

TestMaker lässt sich in seinen Kernfunktionen mit allen getesteten Nutzungsprofilen gut bedienen. Die Startseite, die Navigation, die verschiedenen Frage- und Antworttypen der Standardfragebögen, die Pausierfunktion sowie das Einloggen als Gast mit und ohne TAN funktionierten zuverlässig und wurden positiv bewertet. Mit Touch-Bedienung und mit Spracheingabe ließ sich das Probe-Self-Assessment vollständig durchlaufen.

Die wesentlichen Barrieren konzentrieren sich auf drei Bereiche. Erstens werden die grafischen Darstellungen im Feedbackbereich nicht an den Screenreader ausgegeben und besitzen keine Textalternative, sodass sich das eigene Kompetenzniveau nicht einordnen lässt. Zweitens sind die in Tabellenform dargestellten Single-Choice-Fragen mit dem Screenreader nur sehr umständlich zu bedienen. Drittens wurden mehrere Farbkombinationen als zu kontrastarm wahrgenommen. Hinzu kommt eine uneinheitlich arbeitende Fortschrittsanzeige.

Getestet wurde im Juni 2026 in der Sandbox von Moodle.NRW. Grundlage war ein strukturierter Testleitfaden, der die Startseite des Plugins, vier Fragebögen mit verschiedenen Fragetypen, den Feedbackbereich mit grafischen Darstellungen sowie das Einloggen als Gast mit und ohne TAN und die Sprachumstellung umfasste. Die Testpersonen bewerteten die einzelnen Aufgaben und Funktionen jeweils auf einer fünfstufigen Skala von 1 – funktioniert gar nicht – bis 5 – funktioniert sehr gut – und beschrieben ihre Erfahrungen im Think-Aloud-Verfahren. Für diesen Bericht sind die Einzelbewertungen zu einer Gesamteinschätzung je Nutzungsprofil zusammengeführt.

Die Ergebnisse sind nicht nach einzelnen Hilfsmitteln, sondern nach Nutzungsprofilen gegliedert. Ein Nutzungsprofil beschreibt zwei Dinge zugleich – die tatsächlich genutzte Arbeitstechnik und die Zugänglichkeitsdimensionen, auf die es für dieses Profil besonders ankommt. Diese Sichtweise trägt dem Umstand Rechnung, dass sich manche Bedarfe nicht über ein assistives Werkzeug abbilden lassen. Neurodivergenz etwa ist ein Spektrum, das von kaum oder keinen Hilfsmitteln bis zu ausgeprägten eigenen Arbeitstechniken reicht. 

Dem Test lagen fünf Einzeltestungen zugrunde, die sich zu vier Nutzungsprofilen zusammenfassen lassen:

  • Screenreader-Nutzung am Computer (JAWS und NVDA)

  • Spracheingabe und motorisch unterstützte Bedienung, unter anderem mit Spracherkennung, Bildschirmtastatur, Sprachsteuerung Dragon und joystickgestützter Navigation

  • Vergrößerung und Kontraste, mit Bildschirm- und Browser-Zoom sowie kontrastverändernden Werkzeugen

  • Neurodivergenz, hier bei einer Touch-Bedienung am Tablet ohne assistive Technologie sowie Darkreader, Browser-Zoom und Read Aloud

Der Test wird noch ergänzt. 

Übersicht: Usability bei verschiedenen Nutzungsprofilen

NutzungsprofilTestergebnisEmpfehlung
Screenreaderfunktioniert mittelmäßig, Anpassungen nötig

o

Vergrößerung und Kontrastefunktioniert mittelmäßig, Anpassungen nötig

o

Spracheingabe und 
motorisch unterstützte Bedienung
funktioniert gut

+

Neurodivergenz, Touch-Bedienung 
ohne assistive Technologie, Darkreader, 
Read Aloud, Browservergrößerung
funktioniert gut

+

+ = gut geeignet; o = mittelmäßig geeignet, Anpassungen nötig; − = ungeeignet

Hinweise für Nutzer*innen

Die Startseite, die Navigation und die Standardfragetypen – Freitext, Multiple Choice und Dropdown – waren wahrnehmbar und bedienbar. Die Pausierfunktion, die Texte in den ICAR- und SWE-Rahmenfeldern sowie das Einloggen mit und ohne TAN ließen sich zugänglich nutzen. Der Fragebogen „Letter and Number Series“ war gut zu bearbeiten, weil die Fragestellung wiederholt und zwischen den Antwortmöglichkeiten eine kurze Pause eingefügt wurde, was die Merkbelastung verringerte.

Barrieren

  • Die grafischen Feedback-Darstellungen – Radar, Tacho und Balken – werden nicht als Grafik an den Screenreader ausgegeben. Sie werden teils übersprungen, teils werden nur die darunterstehenden Zahlen vorgelesen. Eine Grafikbeschreibung fehlt, sodass die Einordnung des eigenen Kompetenzniveaus nicht möglich ist.

  • Die Single-Choice-Fragen in Tabellenform – in den Fragebögen Selbstwirksamkeitserwartung und Lernstrategien im Studium – sind nur sehr umständlich bedienbar. Die Antwortgruppe wird als Tabelle lediglich zur Übersicht dargestellt, eine intuitive Auswahl ist nicht erkennbar und muss erprobt werden. Die Antwortoptionen werden ohne stabile Reihenfolge angeboten, sodass der Fokus springt und die Orientierung verloren geht. An dieser Stelle wurde die Testung aus Ermüdungsgründen abgebrochen.

  • Die Überschrift der Fragebögen ist über die Pfeilnavigation erreichbar, jedoch nicht als Überschrift ausgezeichnet und über die Schnellnavigationstaste „H“ nicht auffindbar.

  • Der Schalter zum Öffnen des Feedbacks ist nicht beschriftet.

Usability-Probleme

  • Vor jeder Antwort werden die Fragestellung und der Fragetyp erneut vorgelesen, was den Zeitaufwand spürbar erhöht. Für diese Wiederholung kommen zwei Ursachen in Betracht. Zum einen kann sie im Screenreader begründet sein, denn die verbreiteten Programme verhalten sich unterschiedlich: Manche geben die Gruppenbeschriftung einer Antwortgruppe vor jedem enthaltenen Bedienelement erneut aus, andere nur einmal beim Betreten der Gruppe. Der im Test eingesetzte Screenreader JAWS gehört zur ersten Gruppe. Zum anderen kann die Wiederholung in der Seite selbst angelegt sein, wenn die Fragestellung in den zugänglichen Namen jeder einzelnen Antwortoption aufgenommen wurde. Welche der beiden Ursachen hier vorliegt, lässt sich nur durch eine Prüfung des Quelltextes entscheiden; diese steht noch aus. Die Wiederholung ist dabei nicht grundsätzlich nachteilig: Bei den Buchstaben- und Zahlenfolgen wurde sie als hilfreich erlebt, und auch aus anderen Tests ist bekannt, dass Screenreader-Nutzende sie schätzen. Empfehlenswert sind daher eine möglichst kurze Gruppenbeschriftung und kurze, selbsterklärende Optionsbeschriftungen, welche die Frage nicht wiederholen.

  • Beim Aktivieren oder Deaktivieren der Vorlesefunktion der Ankreuzfelder springt der Fokus an den Seitenanfang.

  • Der Feedbackbereich wirkt unstrukturiert. Zahlreiche Abkürzungen und Zahlenwerte sind ohne Erläuterung schwer einzuordnen.

Hinweise für die Nutzung

  • Die tabellarischen Single-Choice-Fragen lassen sich mit dem Screenreader bedienen, indem zunächst die Gruppe der Optionen angesteuert wird. Steht der Fokus auf diesem Bereich, öffnet ein doppeltes Betätigen der Tabulatortaste ein weiteres Menü mit den Antwortoptionen, die sich dann über die Leertaste aktivieren lassen.

Mit Bildschirm- und Browser-Zoom sowie kontrastverändernden Werkzeugen ließen sich die Startseite, die Fragebögen und der Feedbackbereich grundsätzlich vergrößern und bearbeiten. An einzelnen Stellen wurden die Farbkontraste als gut gewählt bewertet; die Schalter zum Einloggen mit und ohne TAN heben sich kontrastreich voneinander ab und sind dadurch gut zu unterscheiden.

Barrieren

  • Mehrere Farbkombinationen weisen einen zu geringen Kontrast auf. Betroffen sind unter anderem weißer Text auf senffarbenem Hintergrund, dunkelblaue Schrift auf hellblauem Hintergrund in Textfeldern sowie ausgegrauter Text und die feinen Linien um Bedienelemente. Das eigene Kompetenzniveau und einzelne Bedienelemente sind dadurch nur eingeschränkt wahrnehmbar.

  • Die farbliche Trennung zwischen ähnlichen Farbtönen – etwa Blau, Grün und Türkis – ist zu schwach, sodass sich nebeneinanderliegende Bereiche schwer unterscheiden lassen.

  • Der Status eines noch nicht freigeschalteten Fragebogens wird über eine kontrastarme Beschriftung angezeigt – statt „START" erscheint „LOCKED" in geringerem Kontrast –, sodass der Zustand leicht übersehen wird.

Usability-Probleme

  • Eine insgesamt dunklere Schrift würde die Lesbarkeit der Texte und Grafiken spürbar verbessern.

Mit Spracheingabe Dragon und motorisch unterstützter Bedienung ließ sich das Probe-Self-Assessment vollständig durchlaufen. Die Spracheingabe Dragon schrieb unmittelbar in die Textfelder, die Pausierfunktion wurde als sehr hilfreich erlebt, und die verschiedenen Frage- und Antworttypen waren einfach zu bedienen. Der Aufbau und die Gestaltung wurden als intuitiv und gut strukturiert bewertet.

Barrieren und Usability-Probleme

  • Die Fortschrittsanzeige aktualisierte sich trotz beantworteter Fragen nicht in Prozent und war beim Herunterscrollen nicht durchgängig sichtbar.

  • Nach dem Betätigen des Startschalters eines Fragebogens erschien eine Fehlermeldung, obwohl die Bearbeitung problemlos möglich war. Die Meldung wurde als irritierend empfunden.

  • Die Sprachumstellung griff in den Fragebögen bis auf wenige Wörter nicht. Nach der Umstellung waren einige Fragen nicht mehr sichtbar. Zudem gibt es zwei Wege der Umstellung – direkt über Moodle und innerhalb der Fragebögen –, wobei die Umstellung über Moodle unmittelbar zur Startseite zurückleitete.

  • Die Abkürzungen in der Radar-Grafik waren ohne Erläuterung schwer verständlich.

Neurodivergenz und Teilleistungsstörungen wirken sich sehr individuell aus. Die Rückmeldungen aus dem Test sind daher nicht automatisch auf alle Personen in gleicher Ausprägung übertragbar. Die wiederkehrenden Beobachtungen zeigen dennoch typische Barrieren und geben Hinweise für eine barrierefreie Gestaltung.

Mit Touch-Bedienung am Tablet ohne assistive Technologie waren die Startseite, alle Fragetypen, der Feedbackbereich und das Einloggen mit und ohne TAN wahrnehmbar und bedienbar. Das Probe-Self-Assessment ließ sich ohne Probleme vollständig bearbeiten. Für neurodivergente Arbeitsweisen ist vor allem der klare und vorhersehbare Aufbau hilfreich: Die Seiten sind übersichtlich gestaltet, sodass die Orientierung leichtfällt, offene und abgeschlossene Bereiche sind farblich hervorgehoben, die Fragenüberschrift ist klar von den Antwortmöglichkeiten getrennt, und die Pausierfunktion mit eigenem Pausensymbol erlaubt es, die Bearbeitung ohne Datenverlust zu unterbrechen. Auch die Balkengrafik, deren Farben zur erreichten Punktzahl passen, und die zwei Wege, eine Dropdown-Antwort zu ändern, wurden als hilfreich erlebt.

Problematisch waren manche Kontraste.

Usability-Probleme

  • Der Feedbackbereich wirkt wenig strukturiert. Zahlreiche Abkürzungen und Zahlenwerte ohne Erläuterung erhöhen die kognitive Last und erschweren die Einordnung der Ergebnisse. Eine klarere Gliederung und erläuterte Abkürzungen würden gerade neurodivergente Nutzende entlasten.

  • Der Fortschrittsbalken ist unauffällig und folgt beim Scrollen nicht mit, sodass der Bearbeitungsstand aus dem Blick gerät. Eine deutlichere, mitlaufende Darstellung würde die Orientierung stützen.

  • Der Feedbackbereich erfordert viel Scrollen. Die Inhalte sind teils sehr schmal in der Seitenmitte angeordnet, sodass die Seitenbreite nicht ausgenutzt wird und Texte schwerer zu lesen sind.

  • Die Navigation zurück zum Moodle-Kurs könnte einfacher gestaltet sein.

  • Geringe Kontraste im Darkmode beim Dashboard und beim Feedback.

Hinweise für die Nutzung

  • Coverbilder für die einzelnen Module würden die visuelle Unterscheidung der Fragebögen erleichtern.

Hinweise für Lehrende

  • Solange die grafischen Feedback-Darstellungen nicht zugänglich ausgegeben werden, sollten die Ergebnisse für Screenreader-Nutzende zusätzlich in textlicher oder tabellarischer Form bereitgestellt oder mündlich erläutert werden.

  • Single-Choice-Fragen in Tabellenform sollten vermieden werden, solange ihre Bedienung mit dem Screenreader nicht zuverlässig möglich ist. Klassische Single- oder Multiple-Choice-Fragen sind deutlich zugänglicher.

  • Verwendete Abkürzungen in den Auswertungen sollten erläutert werden. Das entlastet insbesondere neurodivergente Nutzende und erleichtert allen die Einordnung der Ergebnisse.

  • Auf ausreichende Farbkontraste sollte geachtet werden, insbesondere bei Texten auf farbigem Hintergrund und bei der Unterscheidung ähnlicher Farbtöne.

  • Die Sprachumstellung sollte vor einem Einsatz in mehrsprachigen Lerngruppen geprüft werden.

Hinweise für Entwickler*innen

Die in den Tests gefundenen Barrieren sind im Folgenden nach den Anforderungen der europäischen Norm EN 301 549 sortiert, auf die die BITV 2.0 des Bundes und der Länder verweisen. Die WCAG 2.1 nennen ergänzend Techniken, mit denen sich die Erfolgskriterien erfüllen lassen. Hinweise zur Programmierung zugänglicher Bedienelemente geben zudem der ARIA Authoring Practices Guide des W3C sowie die WAI-Tutorials zu Formularen. Die Nummern der Überschriften entsprechen den Kapitelnummern der EN 301 549.

9.1 Wahrnehmbar

9.1.1.1b Alternativtexte für Grafiken

Die Ergebnisgrafiken im Feedbackbereich – Radar, Tacho und Balken – werden nicht als Grafik an den Screenreader ausgegeben und besitzen keine Textalternative. Die Ergebnisse sollten zusätzlich als Text, Tabelle oder Liste mit aussagekräftigen Alternativen ausgegeben werden, damit sich das Kompetenzniveau auch ohne die grafische Darstellung erschließen lässt.

9.1.3.1a HTML-Strukturelemente für Überschriften

Die Überschrift der Fragebögen ist nicht als Überschrift ausgezeichnet und lässt sich nicht über die Schnellnavigation ansteuern. Sie sollte als Überschrift strukturiert werden.

9.1.3.1 Info und Beziehungen

Die in Tabellenform dargestellte Antwortgruppe der Single-Choice-Fragen wird nicht mit einer stabilen, programmatisch bestimmbaren Struktur vermittelt. Die Antwortoptionen sollten als korrekt gruppierte Auswahl bereitgestellt werden – etwa eine standardmäßige Radiobutton-Gruppe mit fester Reihenfolge, deren Frage über eine Gruppenbeschriftung mit fieldset und legend oder über role="radiogroup" mit aria-labelledby zugeordnet ist. Damit die Gruppenbeschriftung nicht als belastend erlebt wird, sollte sie kurz gehalten und um kurze, selbsterklärende Optionsbeschriftungen ergänzt werden. Einschlägige Techniken sind H71 und ARIA17; weiterführend ist das WAI-Tutorial zur Gruppierung von Formularelementen unter www.w3.org/WAI/tutorials/forms/grouping/.

9.1.4.3 Kontrast (Minimum)

Mehrere Farbkombinationen im Feedback wurden als zu kontrastarm wahrgenommen, unter anderem weißer Text auf senffarbenem Hintergrund (Kontrastverhältnis 2,4:1) und weiße Schrift auf hellrot (3,5:1), weiß auf grün (3,2:1) in Textfeldern, Fortschrittsbalken 5,5:1. Für normalen Text ist ein Kontrastverhältnis von mindestens 4,5 zu 1 einzuhalten, für großen Text mindestens 3 zu 1. Die Farbwerte sollten entsprechend angepasst werden. 

9.1.4.6 Kontrast (erhöht)

Mehrere Farbkombinationen wurden von den Testpersonen auch dort als zu kontrastarm beschrieben, wo die Mindestanforderungen der Stufe AA eingehalten sein dürften. Im Feedback wurde auch die dunkelblaue Schrift auf hellblauem Hintergrund kritisiert (Kontrastverhältnis 5,3:1). Dieser Befund deckt sich mit der Erfahrung aus anderen Tests des Kompetenzzentrums. Die Schwellenwerte der Stufe AA von 4,5 zu 1 für normalen und 3 zu 1 für großen Text bilden das untere Ende des Zumutbaren ab; sie gleichen den Kontrastverlust bei einer Sehschärfe von etwa 20/40 aus. Für Menschen mit ausgeprägteren Sehbeeinträchtigungen sowie für neurodivergente Nutzende reicht das häufig nicht aus. Das Erfolgskriterium 9.1.4.6 der Stufe AAA fordert deshalb ein Kontrastverhältnis von mindestens 7 zu 1 für normalen und 4,5 zu 1 für großen Text und gleicht damit den Kontrastverlust bei einer Sehschärfe von etwa 20/80 aus. Für den TestMaker wird empfohlen, sich bei den Farbwerten an der Stufe AAA zu orientieren, da das Plugin sich noch in der Entwicklung befindet und die Farbgebung ohne großen Aufwand angepasst werden kann.

9.1.4.11 Nicht-Text-Kontrast

Auch grafische Bedienelemente und Statusanzeigen benötigen einen ausreichenden Kontrast. Die feinen Linien um Bedienelemente, die schwache Trennung ähnlicher Farbtöne sowie die kontrastarme Statusbeschriftung „LOCKED" erreichen das Verhältnis von 3 zu 1 voraussichtlich nicht und sollten kontrastreicher gestaltet werden.

9.2 Bedienbar

9.2.4.3 Fokus-Reihenfolge

In der tabellarischen Single-Choice-Frage werden die Antwortoptionen in wechselnder Reihenfolge fokussiert, sodass die Orientierung verloren geht. Die Fokus-Reihenfolge sollte einer sinnvollen, stabilen Reihenfolge folgen, die der visuellen Anordnung entspricht.

9.2.4.6 Überschriften und Beschriftungen

Der Schalter zum Öffnen des Feedbacks besitzt keinen zugänglichen Namen. Er sollte eine aussagekräftige Beschriftung erhalten.

9.3 Verstehbar

9.3.1.2 Sprache von Teilen

Die Sprachumstellung greift innerhalb der Fragebögen nur auf wenige Wörter, und nach der Umstellung sind einzelne Fragen nicht mehr sichtbar. Die Sprache sollte konsistent für alle Inhalte umgestellt werden, ohne dass Inhalte verloren gehen.

9.3.3.1 Fehlererkennung

Nach dem Start eines Fragebogens erscheint eine Fehlermeldung, obwohl die Bearbeitung möglich ist. Die irreführende Meldung sollte unterbunden oder korrigiert werden.

9.4 Robust

9.4.1.2 Name, Rolle, Wert

Die individuell gestalteten Bedienelemente – die Single-Choice-Frage in Tabellenform und der unbeschriftete Feedback-Schalter – sowie die Grafiken werden assistiven Technologien nicht mit korrektem Namen, korrekter Rolle und korrektem Wert zur Verfügung gestellt. Über geeignete ARIA-Auszeichnungen sollten diese Elemente zuverlässig an assistive Technologien ausgegeben werden.

9.4.1.3 Statusmeldungen programmatisch verfügbar

Die Fortschrittsanzeige aktualisiert sich nicht zuverlässig – sie verbleibt teils bei 0 Prozent – und wird nicht angesagt. Der Bearbeitungsfortschritt sollte als programmatisch verfügbare Statusmeldung ausgegeben werden.

Lizenzhinweis

Zitiervorschlag
„TestMaker. Ergebnisse der Barrierefreiheits- und Usabilitytests und Empfehlungen zum Einsatz in Studium und Lehre. Kompetenzzentrum digitale Barrierefreiheit.nrw, Technische Universität Dortmund, Stand: Juli 2026“, Lizenziert unter: CC BY 4.0. 

Ausgenommen von der Lizenz sind verwendete Logos, Bilder und Bedienoberflächen.