(1) Summarize the project goals, context, and stakeholders

Introduction:

The SmokeFree app was really complicated, and its features weren’t easy to understand right away. The lack of clear explanations during the onboarding process made it even more difficult for users to understand the functionalities. To address these issues and enhance user experience, our project focuses on creating a comprehensive tutorial that simplifies the onboarding process for users. With this tutorial, we want to make Smokefree Diga easier to use and help users understand how it works. We believe that a seamless and straightforward onboarding process is crucial in motivating users to engage with the app and stay committed to their journey towards a smoke-free life.

Our main stakeholders are current people who want to quit smoking. The redesigned onboarding process aims to motivate and support them in their journey towards a smoke-free life with the SmokeFree Diga app.

Activities:

In this project, our main goal was to improve the onboarding process of the SmokeFree Diga app. We started by researching and choosing the app because that had room for improvement. Then, we looked at the challenges and the different people who use the app (stakeholders) – current smokers and those trying to quit.

To understand the users better, we collected data about smoking behavior and interviewed three smokers to hear about their experiences and needs.

With this information, we created fictional characters (personas) to represent typical users. This helped us design with users in mind. In addition to creating personas, we also crafted a scenario for one of the personas to provide a realistic context for the user’s journey within the app. The scenario helped us visualize how the app would be used in a specific situation, making the design process more user-centered.

To focus our efforts, we wrote a clear problem statement about the issues users face during onboarding. Then, we made a hypothesis statement to propose solutions and how they could help users.

Problem statement (related to our persona Sabine):

Sabine needs a way to register easily in the app and to get a simple and understandable introduction because she decided to quit smoking, but due to her limited experience with smartphones, she could be overwhelmed by the many features of the app. We know that this is achieved when Sabine regularly uses the app and its functions.

Hypothesis statement (related to our persona Sabine):

We believe that by creating a good introduction for Sabine, we will achieve an easier onboarding for users so that more of them start using it regularly with understanding of basic app functionality.

Using sketches, we explored different ideas and got feedback. We also created a Low-Fidelity-Prototyp with Figma. This helped us refine our designs.

We made two main user journeys to show how users would go through the app’s key features. With that, we created a high-fidelity prototype that looked more like the final app.

To check the usability without user involvment, we used Nielsen’s usability heuristics to see if there were any problems with the design.

Finally, we tested the new onboarding process with five users in a usability test to see how they interacted with it and if it worked well for them. We used UEQ in its short version as the questionnaire. We also asked the testers to apply the think-aloud method during the usability tests.

(2) Summarize your test results.

• What method(s) did you use to evaluate the results of your usability tests?

We decided to use Thematic Analysis to evaluate the usability tests. This method is designed to handle large and unstructured amount of data. With this approach, we can efficiently organize and categorize the diverse feedback and observations gathered during the usability testing phase. By using Thematic Analysis, we aim to gain valuable insight into user experiences and identify current issues as well as opportunities for future improvement. In our case we grouped the feedback into the topics: problems with dashbord, separation of tutorial from the app, issues with original app design, and other comments.

• How did you evaluate the results?

By collaboratively analyzing the data with the project team, we identified recurring usability challenges, potential improvement opportunities, and key insights into users‘ experiences.

• What did you learn from the testing? What are your main takeaways? Please list these takeaways.

1. Usability test is not the best way to test for our problem
2. The consistancy of our prototype is not as good as we thought
3. Tutorial design is not as easy as we thought
4. Description texts need to be clearer and give more background information
5. Tutorial can be seen as a different mode of the app
6. A lot of usability tests back to back are exhausting
7. A lot of functionalty of the original app is confusing, but we didnt want to change because it was not a directly related to our prototype and goal of the whole project

Affinity diagram

(3) Compare your results with the defined problem (problem statement) you wanted to solve.

• To what extent have you been able to meet your goals? Discuss it.

We think that we were only able to partially meet our goal. The usability tests were not the best method to test the effectiveness of the tutorial. We did not test how much of the tutorial the users were able to understand and jow much they could recall. But we think we are at a good starting point to design a good tutorial. We also overerstimated the effort for the foundation of the design

• What would be your next steps? How would you proceed with this project?

If we would continue our project we would continue to improve our prototype. The usability tests helped to give us a new perspective on tutorials as a design option. Especially how and when the introductions to parts of the app will happen e.g. the tutorial is not one „block“ in the beginning but opens when you use a function for the first time. We would like to compare different kinds of tutorial and do more reasearch into tutorials. Furthermore we would like to do more tests concerning the quality of out tutorial.

Prototype

We continued to improve our prototype by adding more interactivity to facilitate exploring of our UI. Additionally, we now have emergency informations, more help details and an option to share a „Befund“.

Summative Evaluation

• What documents do you need?
  • Standardised Questionnaire (NASA-TLX) 9 Kopien
  • Testskript
  • Consent Form
• This time, you will also measure the satisfaction of users, by using a post-task or post-test questionnaire. Please choose independently what suits your project.
  • We chose to use a post-task questionnaire
• Which standardized questionnaire did you choose and why?
  • We chose the NASA TLX questionnaire
  • We chose post task, because our tasks are relatively independent from each other and therefore more likely to produce differing intersting insights, that might be lost if not captured immediately
  • We chose NASA TLX because our domain is in the area of accessability features. As such we are very interested not only in the general difficulty of a task.
    But also in other more specific metrics relating to the difficulty of task completion (physical, frustration, etc. )
• What could be improved for the tasks?
  • Make the goal less specific
    (Share Document X to doctor Y vs Share a document to a doctor)
  • Write Task more like a scenario

Material

Prototype:

https://www.figma.com/proto/FGW7aa5zIfj257zIb1JG90/FirstPrototypeHCIePA?type=design&node-id=184-937&t=Q7rj4hkNwnfT9fPT-1&scaling=min-zoom&page-id=184%3A936&starting-point-node-id=184%3A937&mode=design

Task 1:

Sie sind beim Arzt (Dr. Example) und er muss Ihr Großes Blutbild einsehen.

Task 2:

Sie haben eine schlechte Erfahrung mit Dr. Example gemacht. Entziehen Sie ihm den Zugang zu Ihren Röntgenbildern.

Task 3:

Sie sind im Haus Ihrer Großmutter und sie hat Atemprobleme. Für diese Fälle haben Sie Zugriff auf die biometrischen Daten ihres Telefons und können es entsperren. Finden Sie Informationen über ihre Allergien.

Evaluation:

https://forms.gle/H1k6a2RTzdXJTL8QA

Consent:

(1) Continue to improve your high-fidelity prototype.

(2) Prepare for a summative evaluation

Script:
Wir heißen Sie herzlich willkommen und möchten uns aufrichtig bei Ihnen bedanken, dass Sie sich die Zeit genommen haben, an diesem Test teilzunehmen.
Wir sind Studierende der Informatik an der FU-Berlin und beschäftigen uns im Rahmen der Veranstaltung „Human-Computer Interaction“ in diesem Sommersemester mit der elektronischen Patientenakte. Unser Ziel ist es, eine Oberfläche zu entwickeln, die ähnlich dem Wahl-O-Mat funktioniert und es den Nutzenden ermöglicht, die passende Krankenkasse bzw. ePA für ihre Bedürfnisse zu finden.

Zu diesem Zweck haben wir einen Prototypen entwickelt und möchten gerne mit Ihnen einen Usability-Test durchführen. Damit wir die Daten aus diesem Test verwenden dürfen, benötigen wir Ihre unterschriebene Einverständniserklärung. Wir möchten betonen, dass Sie sich keine Sorgen machen müssen, etwas falsch zu machen. Wir führen den Test nicht an Ihnen durch, sondern am Prototypen selbst. Ihr Verhalten während des Tests hilft uns dabei, mögliche Verbesserungen am Prototypen zu identifizieren.

Während des Tests werden wir Ihnen Aufgaben stellen, die Sie mit unserem Prototypen ausführen sollen. Wir bitten Sie darum, Ihre Gedanken während der Bearbeitung der Aufgaben laut auszusprechen.

Consent form:
https://drive.google.com/file/d/1inT8J6fNePocxLqaA-Y93ZWSf0Gp1PJC/view?usp=sharing

Usability Test Observation Coding Form:
https://drive.google.com/file/d/1Y60lTsLu9m-FuFDQ1cZa011VM1L8z169/view?usp=sharing

Taskflows:

1. Absolviere das Tutorial von MediMatch
2. Starte die ePA Suche
3. Verwende die Informationstaste für zusätzliche Informationen zur Frage
4. Verwende die Zurück-Taste um deine Antwort zu überarbeiten
5. Führe den Test bis zum Ende durch um dein Ergebnis zu erfahren

Post-task or post-test questionnaire:

Wir haben uns entschieden, die abgespeckte Version des User Experience Questionnaire (UEQ) zu verwenden. Ein Post-Test-Fragebogen passt gut zu unserem Vorhaben, da wir nur wenige Funktionen testen und die Aufgaben kurz sind. Die verkürzte Version gefällt uns besser, da sie uns ermöglicht, die Bewertungspunkte klarer voneinander abzugrenzen als die Langversion. Außerdem reicht die verkürzte Version für unser kleines Projekt völlig aus. Dadurch können wir die Testergebnisse auch leichter vergleichen.

https://drive.google.com/file/d/1YGlM2MrUO6wGU1qWrOC00-M4q2gkKHDm/view?usp=sharing

(1) Continue to improve your high-fidelity prototype.

Results:

https://docs.google.com/spreadsheets/d/1fW1MYyrUwSITGhz2V_1H6n1PmRVpDaRMVDso2aDWLNM/edit?usp=sharing

Prototype:

https://www.figma.com/proto/j5P5kcYLb1StcVuOEkYtGC/HiFi-v3?page-id=0%3A1&type=design&node-id=1-2&viewport=1429%2C307%2C0.44&t=9bebyXeIHdi1tIw7-1&scaling=scale-down&starting-point-node-id=1%3A2&mode=design

(2) Prepare for a summative evaluation

Skript:

Hi, ___. My name is Niklas and his name is Alfred, and I’m going to be walking you through this session today. Before we begin, I have some information for you, and I’m going to read it to make sure that I cover everything. You probably already have a good idea of why we asked you here, but let me go over it again briefly. We’re asking people to try using an app design that we’re working on so we can see whether it works as intended. The session should take about 25 minutes. The first thing I want to make clear right away is that we’re testing the design, not you. You can’t do anything wrong here. In fact, this is probably the one place today where you don’t have to worry about making mistakes. As you use the site, I’m going to ask you as much as possible to try to think out loud: to say what you’re looking at, what you’re trying to do, and what you’re thinking. This will be a big help to us. Also, please don’t worry that you’re going to hurt our feelings. We’re doing this to improve the design, so we need to hear your honest reactions. If you have any questions as we go along, just ask them. I may not be able to answer them right away, since we’re interested in how people do when they don’t have someone sitting next to them to help. But if you still have any questions when we’re done I’ll try to answer them then. And if you need to take a break at any point, just let me know. With your permission, we would like to document this session on paper so we can look at it again. If you would, I’m going to ask you to sign a simple permission form for us. It just says that we have your permission to document this session. Great, now we are done with the formalities and can start with the app design.
(Hand the user the prototype)
(Give them one task after the other)
(After each tasks give them the evaluation)

Tasks:

1) Please add a glass of water.

2) Please log a medication you have taken.

3) Please view your water consumption statistics.

4) Please view your medication statistics.

5) Please check your medication schedule for today and tomorrow.

Consent Form:

Coding Form:

SEQ:

The task we have are different from each other and the aspects of the app they test are very different, so a task level questionnaire gives us better insights. We have choosen SEQ, as we like it’s simplicity and believe the information will be sufficient in this case, because the task we have are quite simple and having more questins will make the test slower with a low reward.

Who contributed what?

We prepared the evaluation together. Niklas paid for the printer.

What have we learnt?

The printer service works surprisingly well.

What went well?

Printing.

What can be improved upon?

Cost per page

(1) Continue to improve your high-fidelity prototype.

(2) Prepare for a summative evaluation

We will conduct usability tests during the time in the lab. There will be guests invited from the Human-Centered Computing (HCC) research group, who will function as usability test participants. Please prepare for this test session accordingly. We will have three test sessions per group. A test session lasts about 25 minutes.

Please recall your experience and takeaways from your first testing session: What are things you would like to do differently this time?

Prepare all documents (script, consent form, …) you will need during the test session:

• What documents do you need?

script, consent form, observation coding form, ueq short german version

• This time, you will measure the effectiveness using the task completion rate. Please use the provided template (PDF, see below).
• This time, you will also measure the satisfaction of users, by using a post-task or post-test questionnaire. Please choose independently what suits your project.
• Which standardized questionnaire did you choose and why?

We decided to use the short version of the UEQ. We chose a post-test-questionaire, because we have only one functionality to test and our tasks are short. We like the short version better because the points to evaluate are better to differentiate then in the long version and the short version is enough for our small project. It is easier for us to compare the test results.

• Document your preparation.

Skript Usability Testing

Herzlich Willkommen und vielen Dank, dass Sie sich die Zeit für diesen Test genommen haben. Wir sind … und möchten diesen Usability Test für unseren Unikurs Human-Computer Interaction durchführen. Im Kurs beschäftigen wir uns mit Digitalen Gesundheitsanwendungen, so genannten DIGAs. Die DiGA, die wir untersucht haben ist eine App zur Unterstützung der Rauchentwöhnung. Dazu haben wir einen Prototypen gebaut mit dem wir mit ihnen einen Usability Test durchführen möchten. Damit wir die Daten aus diesem Test auch verwenden dürfen, brauchen wir bitte die unterschriebene EInverständniserklärung. Bitte machen Sie sich keine Sorgen, dass Sie etwas falsch machen könnten. Wir testen nicht Sie sondern den Prototypen und ihr Verhalten hilft uns zu verstehen, wo dieser Prototyp noch verbessert werden kann. Wir werden Ihnen gleich Aufgaben stellen, die sie in unserem Prototypen ausführen sollen und wir möchten Sie darum bitten, dass Sie Ihre Gedanken während der Bearbeitung der Aufgaben laut auszusprechen.

AUFGABEN

Vielen Dank für Ihre Mitarbeit. Wir werden die Ergebnissein auswerten und in die Weiterentwickling unsers Projektes einbinden, um den Prototypen weiter zu verbessern.

Aufgaben

1. main task flow: Bitte absolvieren Sie das Tutorial vollständig
2. Bitte starten Sie das Tutorial neu
3. Bitte fangen Sie das Tutorial an und brechen es an einer beliebigen Stelle ab
4. Bitte überspringen Sie das Tutorial

Dokumentation

Für die Durchführung der Usability-Tests benötigen wir die folgenden Dokumente:
– Skript
– Einverständniserklärung
– Aufgabenformular
– Fragebogen (Post-Test)

Um die Zufriedenheit (satisfaction) der Testpersonen zu erheben, wollen wir eine Post-Test-Befragung durchführen. Dazu verwenden wir einen standardisierten Fragebogen in seiner verkürzten Form, um die Testpersonen nicht zu überfordern und den gegebenen Rahmen nicht zu sprengen.
Wir haben uns deswegen für den User Experience Questionnaire entschieden.

Außerdem haben wir unseren Prototyp weiterhin verbessert und dazu das Feedback der anderen Projektgruppe einfließen lassen. Dementsprechend hat sich das Layout des Entwurfs verändert und die Interaktionsmöglichkeiten wurden angepasst.

Prototyp

Link zum neuen Prototype

Skript

Herzlich Willkommen und vielen Dank, dass Sie sich die Zeit für diesen Test mit uns nehmen.
In diesem Usability-Test geht es um den Prototypen, den wir im Rahmen des Moduls Human-Computer-Interaction entwickelt haben. Das Thema in diesem Semester sind dabei die elektronische Patientenakte und digitale Gesundheitsanwendungen.
Dazu haben wir die verschiedenen existierenden Anwendungen der Krankenkassen für die Patientenakte untersucht und mehrere Interviews geführt. Unsere Ergebnisse zeigen, dass Verbesserungsbedarf in der digitalen Barrierefreiheit besteht und zu diesem Thema haben wir weiterführend gearbeitet.
Unser Prototyp stellt ein Analyse-Tool für Desktop-Anwendungen dar. Es soll diese Anwendungen auf ihre digitale Barrierefreiheit prüfen und Lösungsansätze für bestehende Probleme anbieten.
Damit wir die Daten aus dem heutigen Test auch verwenden können, benötigen wir von Ihnen Ihr Einverständnis. Dazu haben wir dieses Dokument vorbereitet.
Im Anschluss an den Test haben wir noch einen Fragebogen vorbereitet, in dem Sie einmal Ihre generellen Erfahrungen und Eindrücke mit dem Prototypen einschätzen sollen.

Falls Sie bereit sind, können wir gleich mit dem Test starten.
Dabei ist es wichtig, noch einmal zu erwähnen, dass wir den Prototypen testen. Sie können keine Fehler beim Test machen, Sie weisen uns gegebenenfalls nur auf unvorteilhafte Designs oder Umsetzungen hin.
Im Folgenden werden wir Ihnen einige Aufgaben stellen, die Sie in der Verwendung des Prototyps umsetzen sollen. Bitte teilen Sie uns währenddessen Ihre Gedanken mit und erklären Sie Ihr Vorgehen.

—– Prototyp-Erklärung —–

—– Aufgabenbearbeitung —–

Vielen Dank, damit kommen wir schon zum Ende des Tests. Wir bedanken uns bei Ihnen für Ihre Hilfe und Ihre Mitarbeit und wir hoffen, mit den erhobenen Daten unser Projekt verbessern zu können.
Wir möchten Sie nun noch darum bitten, wie besprochen den kurzen Fragebogen auszufüllen.

Aufgaben

1. Nutzen Sie die Funktion „Detailuntersuchung“ der Anwendung. Ermitteln Sie damit, wie ein konkretes Problem eines UI-Elements der ePA-Anwendung behoben werden kann.
2. Nutzen Sie die Funktion „Strukturübersicht“ der Anwendung. Ermitteln Sie, wie viele Unterelemente das UI-Element „2021“ in Summe besitzt.
3. Nutzen Sie die Funktion „Komplettüberprüfung“ der Anwendung. Ermitteln Sie damit, wie viele Probleme in der ePA-Anwendung insgesamt festgestellt werden können.

Dokumente