Prototype

We continued to improve our prototype by adding more interactivity to facilitate exploring of our UI. Additionally, we now have emergency informations, more help details and an option to share a „Befund“.

Summative Evaluation

• What documents do you need?
  • Standardised Questionnaire (NASA-TLX) 9 Kopien
  • Testskript
  • Consent Form
• This time, you will also measure the satisfaction of users, by using a post-task or post-test questionnaire. Please choose independently what suits your project.
  • We chose to use a post-task questionnaire
• Which standardized questionnaire did you choose and why?
  • We chose the NASA TLX questionnaire
  • We chose post task, because our tasks are relatively independent from each other and therefore more likely to produce differing intersting insights, that might be lost if not captured immediately
  • We chose NASA TLX because our domain is in the area of accessability features. As such we are very interested not only in the general difficulty of a task.
    But also in other more specific metrics relating to the difficulty of task completion (physical, frustration, etc. )
• What could be improved for the tasks?
  • Make the goal less specific
    (Share Document X to doctor Y vs Share a document to a doctor)
  • Write Task more like a scenario

Material

Prototype:

https://www.figma.com/proto/FGW7aa5zIfj257zIb1JG90/FirstPrototypeHCIePA?type=design&node-id=184-937&t=Q7rj4hkNwnfT9fPT-1&scaling=min-zoom&page-id=184%3A936&starting-point-node-id=184%3A937&mode=design

Task 1:

Sie sind beim Arzt (Dr. Example) und er muss Ihr Großes Blutbild einsehen.

Task 2:

Sie haben eine schlechte Erfahrung mit Dr. Example gemacht. Entziehen Sie ihm den Zugang zu Ihren Röntgenbildern.

Task 3:

Sie sind im Haus Ihrer Großmutter und sie hat Atemprobleme. Für diese Fälle haben Sie Zugriff auf die biometrischen Daten ihres Telefons und können es entsperren. Finden Sie Informationen über ihre Allergien.

Evaluation:

https://forms.gle/H1k6a2RTzdXJTL8QA

Consent:

(1) Continue to improve your high-fidelity prototype.

(2) Prepare for a summative evaluation

Script:
Wir heißen Sie herzlich willkommen und möchten uns aufrichtig bei Ihnen bedanken, dass Sie sich die Zeit genommen haben, an diesem Test teilzunehmen.
Wir sind Studierende der Informatik an der FU-Berlin und beschäftigen uns im Rahmen der Veranstaltung „Human-Computer Interaction“ in diesem Sommersemester mit der elektronischen Patientenakte. Unser Ziel ist es, eine Oberfläche zu entwickeln, die ähnlich dem Wahl-O-Mat funktioniert und es den Nutzenden ermöglicht, die passende Krankenkasse bzw. ePA für ihre Bedürfnisse zu finden.

Zu diesem Zweck haben wir einen Prototypen entwickelt und möchten gerne mit Ihnen einen Usability-Test durchführen. Damit wir die Daten aus diesem Test verwenden dürfen, benötigen wir Ihre unterschriebene Einverständniserklärung. Wir möchten betonen, dass Sie sich keine Sorgen machen müssen, etwas falsch zu machen. Wir führen den Test nicht an Ihnen durch, sondern am Prototypen selbst. Ihr Verhalten während des Tests hilft uns dabei, mögliche Verbesserungen am Prototypen zu identifizieren.

Während des Tests werden wir Ihnen Aufgaben stellen, die Sie mit unserem Prototypen ausführen sollen. Wir bitten Sie darum, Ihre Gedanken während der Bearbeitung der Aufgaben laut auszusprechen.

Consent form:
https://drive.google.com/file/d/1inT8J6fNePocxLqaA-Y93ZWSf0Gp1PJC/view?usp=sharing

Usability Test Observation Coding Form:
https://drive.google.com/file/d/1Y60lTsLu9m-FuFDQ1cZa011VM1L8z169/view?usp=sharing

Taskflows:

1. Absolviere das Tutorial von MediMatch
2. Starte die ePA Suche
3. Verwende die Informationstaste für zusätzliche Informationen zur Frage
4. Verwende die Zurück-Taste um deine Antwort zu überarbeiten
5. Führe den Test bis zum Ende durch um dein Ergebnis zu erfahren

Post-task or post-test questionnaire:

Wir haben uns entschieden, die abgespeckte Version des User Experience Questionnaire (UEQ) zu verwenden. Ein Post-Test-Fragebogen passt gut zu unserem Vorhaben, da wir nur wenige Funktionen testen und die Aufgaben kurz sind. Die verkürzte Version gefällt uns besser, da sie uns ermöglicht, die Bewertungspunkte klarer voneinander abzugrenzen als die Langversion. Außerdem reicht die verkürzte Version für unser kleines Projekt völlig aus. Dadurch können wir die Testergebnisse auch leichter vergleichen.

https://drive.google.com/file/d/1YGlM2MrUO6wGU1qWrOC00-M4q2gkKHDm/view?usp=sharing

(1) Continue to improve your high-fidelity prototype.

Results:

https://docs.google.com/spreadsheets/d/1fW1MYyrUwSITGhz2V_1H6n1PmRVpDaRMVDso2aDWLNM/edit?usp=sharing

Prototype:

https://www.figma.com/proto/j5P5kcYLb1StcVuOEkYtGC/HiFi-v3?page-id=0%3A1&type=design&node-id=1-2&viewport=1429%2C307%2C0.44&t=9bebyXeIHdi1tIw7-1&scaling=scale-down&starting-point-node-id=1%3A2&mode=design

(2) Prepare for a summative evaluation

Skript:

Hi, ___. My name is Niklas and his name is Alfred, and I’m going to be walking you through this session today. Before we begin, I have some information for you, and I’m going to read it to make sure that I cover everything. You probably already have a good idea of why we asked you here, but let me go over it again briefly. We’re asking people to try using an app design that we’re working on so we can see whether it works as intended. The session should take about 25 minutes. The first thing I want to make clear right away is that we’re testing the design, not you. You can’t do anything wrong here. In fact, this is probably the one place today where you don’t have to worry about making mistakes. As you use the site, I’m going to ask you as much as possible to try to think out loud: to say what you’re looking at, what you’re trying to do, and what you’re thinking. This will be a big help to us. Also, please don’t worry that you’re going to hurt our feelings. We’re doing this to improve the design, so we need to hear your honest reactions. If you have any questions as we go along, just ask them. I may not be able to answer them right away, since we’re interested in how people do when they don’t have someone sitting next to them to help. But if you still have any questions when we’re done I’ll try to answer them then. And if you need to take a break at any point, just let me know. With your permission, we would like to document this session on paper so we can look at it again. If you would, I’m going to ask you to sign a simple permission form for us. It just says that we have your permission to document this session. Great, now we are done with the formalities and can start with the app design.
(Hand the user the prototype)
(Give them one task after the other)
(After each tasks give them the evaluation)

Tasks:

1) Please add a glass of water.

2) Please log a medication you have taken.

3) Please view your water consumption statistics.

4) Please view your medication statistics.

5) Please check your medication schedule for today and tomorrow.

Consent Form:

Coding Form:

SEQ:

The task we have are different from each other and the aspects of the app they test are very different, so a task level questionnaire gives us better insights. We have choosen SEQ, as we like it’s simplicity and believe the information will be sufficient in this case, because the task we have are quite simple and having more questins will make the test slower with a low reward.

Who contributed what?

We prepared the evaluation together. Niklas paid for the printer.

What have we learnt?

The printer service works surprisingly well.

What went well?

Printing.

What can be improved upon?

Cost per page

(1) Continue to improve your high-fidelity prototype.

(2) Prepare for a summative evaluation

We will conduct usability tests during the time in the lab. There will be guests invited from the Human-Centered Computing (HCC) research group, who will function as usability test participants. Please prepare for this test session accordingly. We will have three test sessions per group. A test session lasts about 25 minutes.

Please recall your experience and takeaways from your first testing session: What are things you would like to do differently this time?

Prepare all documents (script, consent form, …) you will need during the test session:

• What documents do you need?

script, consent form, observation coding form, ueq short german version

• This time, you will measure the effectiveness using the task completion rate. Please use the provided template (PDF, see below).
• This time, you will also measure the satisfaction of users, by using a post-task or post-test questionnaire. Please choose independently what suits your project.
• Which standardized questionnaire did you choose and why?

We decided to use the short version of the UEQ. We chose a post-test-questionaire, because we have only one functionality to test and our tasks are short. We like the short version better because the points to evaluate are better to differentiate then in the long version and the short version is enough for our small project. It is easier for us to compare the test results.

• Document your preparation.

Skript Usability Testing

Herzlich Willkommen und vielen Dank, dass Sie sich die Zeit für diesen Test genommen haben. Wir sind … und möchten diesen Usability Test für unseren Unikurs Human-Computer Interaction durchführen. Im Kurs beschäftigen wir uns mit Digitalen Gesundheitsanwendungen, so genannten DIGAs. Die DiGA, die wir untersucht haben ist eine App zur Unterstützung der Rauchentwöhnung. Dazu haben wir einen Prototypen gebaut mit dem wir mit ihnen einen Usability Test durchführen möchten. Damit wir die Daten aus diesem Test auch verwenden dürfen, brauchen wir bitte die unterschriebene EInverständniserklärung. Bitte machen Sie sich keine Sorgen, dass Sie etwas falsch machen könnten. Wir testen nicht Sie sondern den Prototypen und ihr Verhalten hilft uns zu verstehen, wo dieser Prototyp noch verbessert werden kann. Wir werden Ihnen gleich Aufgaben stellen, die sie in unserem Prototypen ausführen sollen und wir möchten Sie darum bitten, dass Sie Ihre Gedanken während der Bearbeitung der Aufgaben laut auszusprechen.

AUFGABEN

Vielen Dank für Ihre Mitarbeit. Wir werden die Ergebnissein auswerten und in die Weiterentwickling unsers Projektes einbinden, um den Prototypen weiter zu verbessern.

Aufgaben

1. main task flow: Bitte absolvieren Sie das Tutorial vollständig
2. Bitte starten Sie das Tutorial neu
3. Bitte fangen Sie das Tutorial an und brechen es an einer beliebigen Stelle ab
4. Bitte überspringen Sie das Tutorial

Dokumentation

Für die Durchführung der Usability-Tests benötigen wir die folgenden Dokumente:
– Skript
– Einverständniserklärung
– Aufgabenformular
– Fragebogen (Post-Test)

Um die Zufriedenheit (satisfaction) der Testpersonen zu erheben, wollen wir eine Post-Test-Befragung durchführen. Dazu verwenden wir einen standardisierten Fragebogen in seiner verkürzten Form, um die Testpersonen nicht zu überfordern und den gegebenen Rahmen nicht zu sprengen.
Wir haben uns deswegen für den User Experience Questionnaire entschieden.

Außerdem haben wir unseren Prototyp weiterhin verbessert und dazu das Feedback der anderen Projektgruppe einfließen lassen. Dementsprechend hat sich das Layout des Entwurfs verändert und die Interaktionsmöglichkeiten wurden angepasst.

Prototyp

Link zum neuen Prototype

Skript

Herzlich Willkommen und vielen Dank, dass Sie sich die Zeit für diesen Test mit uns nehmen.
In diesem Usability-Test geht es um den Prototypen, den wir im Rahmen des Moduls Human-Computer-Interaction entwickelt haben. Das Thema in diesem Semester sind dabei die elektronische Patientenakte und digitale Gesundheitsanwendungen.
Dazu haben wir die verschiedenen existierenden Anwendungen der Krankenkassen für die Patientenakte untersucht und mehrere Interviews geführt. Unsere Ergebnisse zeigen, dass Verbesserungsbedarf in der digitalen Barrierefreiheit besteht und zu diesem Thema haben wir weiterführend gearbeitet.
Unser Prototyp stellt ein Analyse-Tool für Desktop-Anwendungen dar. Es soll diese Anwendungen auf ihre digitale Barrierefreiheit prüfen und Lösungsansätze für bestehende Probleme anbieten.
Damit wir die Daten aus dem heutigen Test auch verwenden können, benötigen wir von Ihnen Ihr Einverständnis. Dazu haben wir dieses Dokument vorbereitet.
Im Anschluss an den Test haben wir noch einen Fragebogen vorbereitet, in dem Sie einmal Ihre generellen Erfahrungen und Eindrücke mit dem Prototypen einschätzen sollen.

Falls Sie bereit sind, können wir gleich mit dem Test starten.
Dabei ist es wichtig, noch einmal zu erwähnen, dass wir den Prototypen testen. Sie können keine Fehler beim Test machen, Sie weisen uns gegebenenfalls nur auf unvorteilhafte Designs oder Umsetzungen hin.
Im Folgenden werden wir Ihnen einige Aufgaben stellen, die Sie in der Verwendung des Prototyps umsetzen sollen. Bitte teilen Sie uns währenddessen Ihre Gedanken mit und erklären Sie Ihr Vorgehen.

—– Prototyp-Erklärung —–

—– Aufgabenbearbeitung —–

Vielen Dank, damit kommen wir schon zum Ende des Tests. Wir bedanken uns bei Ihnen für Ihre Hilfe und Ihre Mitarbeit und wir hoffen, mit den erhobenen Daten unser Projekt verbessern zu können.
Wir möchten Sie nun noch darum bitten, wie besprochen den kurzen Fragebogen auszufüllen.

Aufgaben

1. Nutzen Sie die Funktion „Detailuntersuchung“ der Anwendung. Ermitteln Sie damit, wie ein konkretes Problem eines UI-Elements der ePA-Anwendung behoben werden kann.
2. Nutzen Sie die Funktion „Strukturübersicht“ der Anwendung. Ermitteln Sie, wie viele Unterelemente das UI-Element „2021“ in Summe besitzt.
3. Nutzen Sie die Funktion „Komplettüberprüfung“ der Anwendung. Ermitteln Sie damit, wie viele Probleme in der ePA-Anwendung insgesamt festgestellt werden können.

Dokumente