Kategorie: Assignment #6

[A#6, P8] Paper prototyping and usability testing

Part I. Assignments

(1) Continue to develop (or start a new) paper prototype based on new insights or feedback from your peers.

We skip this subtask since we considered the feed back from peers was planned to gathered during last lab session on 25. May which didn’t happen (question asked and got confirmed in Mattermost).

(2) Conduct (at least) 3 formative usability tests.

1.Develop a script for your usability test.

(1) Hinweise für den User

Wir testen die Webapplikation, nicht dich! Fragen bitte gerne stellen, ich kann aber nicht versprechen, alle Fragen direkt zu beantworten! Bitte laut denken (Think aloud). (übernommen von Lab 07)

(2) Kontext der Anwendung erklären

Wir wollen eine Webapp entwickeln für online Spieleabende mit Freunden. Sie soll die remote Brettspielabende unkomplizierter und übersichtlicher machen. Neben der Kommunikationsformen, wie Audio-, Videochat, soll unsere Webapplikation eine Filterfunktion für Brettspiele haben, sowie die eigentlichen Brettspiele eingebettet haben. Wir haben einen ersten Prototypen gebaut und würden in diesem Test gerne die Verständlichkeit und Übersichtlichkeit testen. 

(3) Fragebogen

  • Wie heißt du?
  • Wie alt bist du?
  • Was machst du beruflich?
  • Spielst du gerne Gesellschaftsspiele in deiner Freizeit?
  • Hast du schon einmal einen remote Spieleabend gemacht?
  • Hast du schon einmal einen usability test (als Testperson) gemacht?

(4) Szenario(s) 

erste Szenario: per Link einladen

Du hast einen langen Tag der Arbeit beendet und würdest gerne mit deiner Freund_Innen ein Spielabend machen. Nach der Absprechung habt ihr entschieden, gemeinsam online ein Spielabend auf Social Play zu organisieren. Du würdest gerne erstens ein Account auf Social Play einlegen und deine Freund_Innen per link einladen. Du hast über Social Play einen Link per email an deindem/r Freund_In geschickt. Nachdem deindem/r Freund_In sich eingeloggt ist, habt ihr eingefangen in einem Treffen zusammen Spiel auszuwählen. 

zweites Szenario: Spiel aussuchen und filtern

Du triffst dich mit deiner Freund_Innen zusammen im online meeting Raum von Social Play. Ihr habt gestartet ein Spiel auszusuchen. Jenach euer gewünschte Filterkriterien (z.B. Spielzeitlänge, Spielart, geeignete Personenanzahl usw., die sollte Testperson selbst gegeben werden, um zu gucken, ob wir einige Kriterien vergessen haben) sollte eine Liste von Spiele ausgegeben werden. Dann du und deine Freund_Innen gucken solche Spiele durch und sucht ihr ein Spiel aus. Anschließend spielt ihr das Spiel zusammen.

(5) Aufgaben

Mache dich mit der Anwendung vertraut

  1. Beschreibe was du siehst und deinen ersten Eindruck.
  2. Was wären deine ersten Schritte, um in eine Gruppe mit deinen Freund_innen zu gelangen ?

Finde die Gruppe No board games, no gain.

Lerne die Gruppenmöglichkeiten kennen

  1. Wie würdest du einer Gruppe per Link beitreten?
  2. Wie würdest du eine Gruppe erstellen?

Erstelle ein Gruppe, bei welcher du deine Freund_innen hinzufügst.

Lerne die Filterfunktion kennen

  1. Wie würdest du ein Spiel finden?
  2. Wie würdest du das passende Spiel für euch auswählen?

Finde ein passendes Spiel für deine Gruppe und wähle es aus.

Lerne die Spielfunktion kennen

  1. Was würdest du machen, um mit deiner Gruppe zu spielen?
  2. Wie würdest du ein Spiel starten?

Spiele ein Spiel durch mit deiner Gruppe

(6) Abschließende Fragen

  1. Welche Vor- und Nachteile siehst du bei der Benutzung der WebApp?
  2. Was fehlt dir an der Social Gaming App?
  3. Hast du Schwierigkeiten (Wo hast du Schwierigkeiten) bei Nutzung des Apps? (z.B. eine bestimmte icon oder Funktion zu finden, verwirrende icon design oder Layout design usw.)

(7) Abschluss

  • Hast du weitere Fragen oder Anmerkungen?
  • Vielen Dank für deine Teilnahme! Du hast uns sehr geholfen.
  • (übernommen von LU 7)

2.Document who is taking what role

In the first and second usability tests Ina will be the Facilitator and in the third Brendan. Xin will be the Observer in all usability tests.

3.Decide if you want to record your test session and how you take notes during the test sessions.

We don’t want to record the test sessions as our users expressed uncomfort with the idea of being recorded. We will take notes on paper during the usability test, as we find it the easiest way to create “creative” and adaptable notes. We will later summarise these notes in a more structured way in a Google Doc. 

4.Document who you are inviting for a test session and how long the session lasted.

Table created in word document. We hide test perons‘ name for privacy reason.

(3) Document and evaluate the results of your testing.

Results Evaluation

We first wrote down notes on paper block and then tranformed them into structured notes in word documents (each document for one single test person). The document is structured as the usability test workflow. We take Affinity Diagram to evaluate our results of usability testing since we consider it as the best way to fulfill our „gather and then organize“ evaluation steps.

Since we most concentrate on the improvement suggestions and critics from our test persons, we organize only the „negative“ feedback from our test persons and didn’t write down „positive feedback“ in our affinity diagram (of course positive feedbacks are noted in our structured documents).

The affinity diagram is generated using online tool Flinga.

It is the first version of our affinity diagram which consists of all unorganized ideas from our test persons.
We then organized them into two sub categories: general suggestion (left) which doesn’t correspond to a single function/page and feature/design suggestions (right) which correlate to a single function or page design.
As the last step, we again subcategorized the Feature/Design suggestions(right) into four subgroups: social functions (left), interaction features (middle up), design defects (middle down), and gaming functions(right). Social functions are functions are regarding accout and group creations, where as gaming functions are regarding all functions correlated to games (including filter, in-play scree etc.).
Design defects is a subcategory which should not happen but we still have it based on our carelessness in first design.

Learning and Takeaways

We learned that all test persons liked our design idea behind our application. And they think our first design is not overwhelmed with non-necessary information, wo that the it is easy to follow the test process. However, some confusions can also be found in testing. Part of the confusions are based on the Marvelapp and partly is based on our design defects. There are also some functions we didn’t think of but proved to be important by testings. We think there are really lots of improvements to be done in further design iterations.

Part II Reflexion

(1) Team member contribution.

We first meet together in Discord and discussed the organisatorial stuff of how to organize the usability tests. Then we worked together on our script for further steps (Ina for contextual introduction and questionaire, Brendan for following-up questions, Xin for scenarios. However the separation is not 100% clear since we review and improved each other’s parts though).

The three usability tests are taken part separately over the weekends (responsible persons can be found in the table for task (2)). Notes are generated after the test and uploaded into our shared google folder.

We created the Affinity Diagram after gathering all three notes and evaluate the results.

(2) Learnings from assignment.

We learned how to formly conducted a usability test. It was an interesting experience because somehow the test person can get confused by some designs which we didn’t notice it at all. We are pleased to get constructive feedbacks from our test persons. We will take their feedback into serious considerations and think about how to improve our design.

(3) possitive/successful experience

We successfully found 3 different test persons to help us with the usability testings, which we really appreciate their kindness and helpfulness. All our test persons are so cooperative which make our test processes much more smoothly.

(4) What would you like to improve?

It seems that the assignment workload is not so evenly distributed throughout weeks, for example three usability tests over a weekend is somehow a little bit more. It is also not so easy to find and contact test persons, and then finish usability testings so shortly within a week (for example, some people may be really suitable for usability testing but due to their tough schedule they need to be contacted at least one week before for appointments). That would be so nice if we can see some assignments in advance and maybe prepare it in advance.

Another improvement lies in our previous assignments. In our assignment #2 we didn’t chose „Analyze existing software“ for data gathering. Based on our usability testing results, we found it essential to do that since some of our design defects can be easily resolved by viewing similar apps or apps offer similar functions. If we view similar app designs, we at least won’t forget registration function on the main page.

Additionally, we didn’t undertake probe testing on ourselves before formal usability testing. If we did so, some problems can also be detected earlier.

[A#6, P4] Paper prototyping and usability testing

(1) Continue to develop (or start a new) paper prototype based on new insights or feedback from your peers.

Da es im Seminar nicht zu einer Gruppenarbeit kam, wurde auch kein Feedback erhalten. Somit wurden auch keine Änderungen am Prototypen unternommen.

(2) Conduct (at least) 3 formative usability tests.

Script:

(1) Hinweise für den User

Wir testen die Anwendung, nicht dich! Fragen bitte gerne stellen, ich kann aber nicht versprechen, alle Fragen direkt zu beantworten! Bitte laut denken.

(2) Kontext der Anwendung

JuurMate ist eine Desktop Anwendung und für Jura Studierende. JuurMate wurde entwickelt, um die Rechtsprüfung einer Rechtsfrage zu unterstützen. JuurMate bietet dazu eine dynamische Erstellung von Schemata zur Prüfung solcher Rechtsfragen an. Im Rahmen dieses Nutzertests möchten wir eine Funktion testen und Feedback einholen. Das Feature soll das anlegen eines neuen Schemas sein.

(3) Fragebogen

Um unsere Ergebnisse besser einordnen zu können, würden wir gerne noch ein paar persönliche Informationen von dir haben. Ist das okay?

Wie alt bist du?

Wenn du möchtest, kannst du uns dein Geschlecht verraten?

Was ist dein Beruf (wenn Student: Welcher Studiengang + Semester)?

(4) Szenario

Du musst als Hausaufgabe einen Rechtsfall prüfen. Aktuell bist du auf dem Weg nach Hause und möchtest schon mal damit beginnen. Also öffnest du die JuurMate Anwendung auf deinem Notebook. Nach dem öffnen erscheint ein Auswahlbildschirm, bei dem du dich entscheiden kannst, ob du die geleitete Variante der Anwendung oder die ungeleitete Variante benutzen möchtest. Mit der geleiteten Variante kannst du nun ganz einfach in der Bahn auf dem Nachhauseweg ein einziges Schema dynamisch generieren lassen, dass dir dabei hilft deine Hausaufgabe zu Hause schneller zu beenden.

(5) Aufgaben

Mache dich mit der Anwendung vertraut:
– Beschreibe was du siehst und deinen ersten Eindruck der Anwendung.
– Was fällt dir als erstes auf?
– Wohin hast du als erstes geschaut?
– Hast du nach etwas bestimmten dabei gesucht?
– Worauf würdest du am liebsten zuerst klicken?

Fertige mithilfe der Anwendung ein Prüfungsschema zum Prüfen einer Rechtsfrage zu Mord an und denke bitte daran, alle Überlegungen laut zu formulieren.

Öffne ein altes Schema, das im Vorhinein abgespeichert wurde. Denke auch hier bitte weiterhin daran, alle deine Gedanken hierzu auszusprechen.

(6) Abschließende Fragen

Welche Vor- und Nachteile siehst du grundsätzliche bei der Schema-Gestalten-Funktion der Anwendung?

Stell dir vor du könntest ein Feature bezogen auf die Schema-Gestalten-Funktion verbessern, was wäre das und wie würdest du es verbessern? Warum?

(7) Abschluss

Hast du weitere Fragen oder Anmerkungen?

Vielen Dank für deine Teilnahme! Du hast uns sehr geholfen.

Roles

Tobias übernimmt die Rolle des Moderators. Da wir mit einem digitalen Prototypen arbeiten, werden sowohl Anil als auch Simon beobachten und Notizen anfertigen. Dabei achtet Simon vor Allem auf die Äußerungen und Anil beobachtet die Mausbewegungen auf dem Bildschirm und schaut, ob es dort irgendwelche Abweichungen gibt oder ob unsere Probanden direkt die richtigen Flächen anklicken.

Recording

Wie oben beschrieben, werden die Notizen von zwei Personen aufgenommen. Da wir somit eine gute Abdeckung sowohl der Äußerungen als auch des Verhaltens der Testpersonen haben, haben wir uns gegen eine Aufnahme entschieden. Dies soll dazu führen, dass sich die Testperson weniger beobachtet fühlt uns es eine angenehmere Atmosphäre kreiert.

Who and How Long?

Tade, 20 J., Jurastudent im 2. Semester, 20 Min.
Erik, 19 J., Jurastudent im 2. Semester, 16 Min.
Timon, 21 J., Jurastudent im 2. Semester, 14 Min.

(3) Document and evaluate the results of your testing.

Evaluation Method

Wir haben die Ergebnisse nicht über Affinity Diagramming ausgewertet, da wir hierfür in diesem Fall keinen Mehrwert erwartet haben. Wir haben stattdessen die einzelnen Notizen direkt in Kritik, Positive Anmerkungen, Verbesserungsvorschläge/Wünsche und Unerwartetes Verhalten/Sonstiges eingeordnet und den jeweiligen Screens des Prototypen zugeordnet. Da die komplette Darstellung sehr unübersichtlich ist, haben wir hier exemplarisch ein Ausschnitt eines Screens (für den es die meisten Anmerkungen gab) beigefügt.

Takeaways

Wir haben gelernt, gesehen, dass wir im Grund auf dem richtigen Weg sind. Die Anwendung und die Bedienung an sich wurde von allen Probanden als positiv empfunden. Allerdings sind viele Kleinigkeiten aufgefallen, die Fehlen (z.B. Zurück-Button, deutlich sichtbare Speicherfunktion). Diese scheinen uns bei der Planung unbeachtet geblieben zu sein.

Darüber hinaus haben wir viele spannende Wünsche und Anregungen bekommen. Als die Probanden den Prototypen gesehen haben und ein Gefühl dafür bekommen haben, wie die Anwendung später einmal funktionieren wird, sind viele neue Ideen gekommen. Diese haben wir zu Kenntnis genommen und werden uns damit befassen, ob und wie wir diese Wünsche miteinarbeiten wollen.

Seiten: Seite 1, Seite 2

[A#6, P2] Paper prototyping and usability testing

(2) Conduct (at least) 3 formative usability tests.

script for usability test

Hinweise für den User:

Wir testen die App, nicht dich! Fragen bitte gerne stellen, ich kann aber nicht versprechen, alle Fragen direkt zu beantworten! Wir werden eine sogenannte think-aloud Methode nutzen, die uns dabei hilft, herauszufinden, was noch an unserer App verbessert werden kann.

Kontext der Anwendung erklären:

Foodie ist eine App, die dir hilft, deine Mahlzeiten zu planen und einfacher Rezepte, die perfekt auf dich zugeschnitten sind, zu finden. Besonders hilfreich ist die App für Menschen mit Nahrungsunverträglichkeiten oder mit restriktiven Diäten. Dazu gibt es einen Nahrungsmittelfilter, der die unverträglichen Substanzen direkt aus der Suche streicht und dir nur Rezepte, die du auch essen kannst, anzeigt. Des Weiteren gibt es die Möglichkeit Gruppen zu erstellen und Gerichte für diese Gruppe rauszusuchen, hier werden auch die verschiedenen, von den Nutzern ausgewählten, Unverträglichkeiten direkt angezeigt.

Szenario:

Stell dir vor, du bist vegetarier und eine Apfelallergie, kochst gerne und bist oft frustriert, dass dein ausgewähltes Rezept doch noch nach Schinkenwürfeln fragt nachdem du dich darauf gefreut hast das zu machen und du dir danach ein neues Rezept raussuchen musst. Jetzt hast du die neue App Foodie empfohlen bekommen und willst sie ausprobieren, du hast dir einen Account erstellt und benutzt jetzt die App zum ersten Mal.h

Aufgaben:

  • Beschreibe was du siehst und deinen ersten Eindruck.
  • Was wären deine ersten Schritte, um ein geeignetes Rezept zum Kochen zu finden?
  • Wie wäre deine Vorgehensweise, um deine Unverträglichkeiten bzw. deine Ernährungsform einzustellen?

Abschließende Fragen:

  • Welche Vor- und Nachteile siehst du grundsätzliche bei der Foodie-App?
  • Stell dir vor du könntest ein Feature bezogen auf die Rezeptsuche-Funktion verbessern, was wäre das und wie würdest du es verbessern? Warum?
  • Mit welchen Leuten könntest du dir vorstellen eine Gruppe zu erstellen? Freunde oder doch eher nur Haushalt? 

Abschluss:

  • Hast du weitere Fragen oder Anmerkungen?
  • Vielen Dank für deine Teilnahme! Du hast uns sehr geholfen.

Who is taking what role

Nirmin und Janis führen das Interview während Rike Notizen schreibt.

Who do we invite to our testsession

  • Usability Test #1:
    • Erik, 25 Jahre alt, kocht gerne, Flexitarier und mag keine Pilze
    • Interviewdauer: 14:05-14:25 (20 Minuten)
    • Interview durchgeführt von Janis
  • Usability Test #2:
    • Rama, 20 Jahre alt, probiert gerne neue Gerichte aus und folgt keiner bestimmten Ernährungsform
    • Interviewdauer: 14:55-15:15 (20 Minuten)
    • Interview durchgeführt von Nirmin

(3) Document and evaluate the results of your testing.

Wir haben uns dazu entschieden nur schriftliche Notizen zu machen und diese im Nachhinein in ein Affinity Diagramm umzuwandeln.

Zuerst haben wir die gesammelten Notizen Personenweise aufgelistet.

Als nächstes haben wir die Notizen unter den Kategorien „Features“, „Design“ und „Ideen und Verbesserungsvorschläge“ jeweils in Pro und Contra einsortiert, um die noch vorhandenen Probleme besser zu veranschaulichen.

What did we learn and what are the main takeways

Wir haben gelernt, dass die Grundrichtung in die wir gehen gut ist, allerdings der unfertige Prototyp öfter für Verwirrung gesorgt hat, da noch nicht alle Features nutzbar waren. Dass der Einstellungsbutton nicht klick bar war, führte dazu, dass ein Tester nicht sicher war wie er sein Profil bearbeiten kann. Erst nach genauerem betrachten des Prototyps ist der Tester auf das Profil-Icon aufmerksam geworden wodurch er zur Profileinstellung gelangte.

Seiten: Seite 1, Seite 2

[A#6, P1] Paper prototyping and usability testing

In our usability tests, the average time was 20 minutes. We did it in alternation so that each of us can experience the available roles at least once. The roles: The observer is taking notes while the facilitator guides the interview. All participants are affected by the solution that HelloFridge offers. Since the target group is living in our area we decided to provide the script in German:

1-Hinweis für den User

Wir testen die App, nicht dich! Fragen bitte gerne stellen, ich kann aber nicht versprechen, alle Fragen direkt zu beantworten! Bitte laut denken

2- Erklärung des Kontexts

Essen bestellen und Fast Food ist bequem und schnell, aber es schadet der Umwelt. Um diese zu schützen erlaubt unsere App HelloFridge mit einer Zutatenliste passende Rezepte zu finden. So können für die Essensreste Zuhause neue Gerichte gefunden werden.

3-Fragebogen

Alter ?
Erfahrung mit dem Umgang von Smartphones ?
regelmäßiges Nutzen von Mobile Apps ?
Schon mal ein Food-App benutzt ? Welches ? Worum ging es ?

4-Szenario
Stell dir vor du bist zu hause und überlegst ob du etwas kochen sollst oder etwas
bestellen. Du öffnest dein Handy um eine Lieferdienst App zu nutzen, aber plötzlich siehst du das HelloFridge Logo und entscheidest dich der tollen App eine Chance zu geben.

5-Aufgaben

Sollten zu einem Zeitpunkt Verständnisfragen zu den Aufgaben auftreten, bitten wir dich, diese uns gegenüber zu äußern.
Wir stehen dir auch gerne zur Seite falls mal etwas schiefgelaufen ist.

Log dich ein.
Beschreibe was du siehst und deinen ersten Eindruck
Finde heraus welche Zutaten du schon hast.
Du hast bereit Hänchenbrust, Reis, Olivenöl und Gewürze. Du öffnest die App. Unter der Annahme dass diese Zutaten bereit hinzugefügt wurden, wie wurdest du einen Rezeptvorschlag bekommen ?
Was ist die letzte Rezept die du gekocht hast ?
Welche zutaten hast du übrig nachdem du gekocht hast ?
Versuch den Topf mit Zutaten zu füllen

6- Abschließende Fragen

Welche Vor- und Nachteile siehst du grundsätzliche bei der Rezeptesuchen-Funktion der Hello Fridge App ?
Was war für dich nicht intuitiv bzw schwierig zu interpretieren?

7- Abschluss

Hast du weitere Fragen oder Anmerkungen ?

What method did you use to evaluate the results of your usability tests? How did you evaluate the results?

We tried to be as passive as possible during the usability tests to not influence the test persons interaction with the user interface.

While writing the script we tried to have small tasks which can be rated separately. The difficulty of each task will be rated by us according to the performance of the user in order to identify the ambiguous and not intuitive tasks.

Since we provided as little help as necessary to our test user we received rich feedbacks and interesting questions. Those led to greater discussions because we felt that only with additional prompts the thoughts will be verbalized by the users.

What did you learn from the testing? What are your main takeaways?

We noticed that our interpretation of the user interface does not always align with the users interpretation. On various occasions, the user said that „I think the app expects me to …“ which is a clear sign of multiple uncertainties on the users side.

For the reasons stated above we decided to make some changes on our prototype:

It is not possible to design all the possible use cases that`s why we started with an already filled pot (5 ingredients). The user had some confusion with the first step of our app because it was not clear that the empty pot use case is not tested here.
When the pot is empty the Get Recipe button should be disabled. The favourite button was not clear for all our users „He seems to be out of place“. After some discussions, we decided to change the approach and we will create a tabulation for the Favorites next to Already Cooked ones, which we will also change to a tabulation.

One situation that led to a greater discussion was How the user can mark a recipe as Already Cooked? In our prototype when the user is in the recipe preparation screen we have an Already Cooked? button but clicking this button was mentioned as not intuitive since the common approach is to click on the Back button (<-) . The functionality of the Already Cooked button is very important, especially for refreshing the ingredients list in the pot. This functionality was not communicated clearly to the user through the app. Again after some discussions, we decided to adopt a swiping system where the user can swipe through the recipes preparation steps. The last step asks the user to manually confirm Already Cooked? either by a simple button click or by taking a photo of the cooked meal. But the last-mentioned functionality is nice to have.

Some additional points we discovered:

we want to include drag and drop menues when choosing the ingredients

settings for multiple languages

the touch buttons have to be as big as the pictures

in the recipe preparation screen we want to see the name just once

the recipes at Already Cooked? need a star when they are also in the favourites

An open question is how long our UX prototype has to be alive.

Who did what?

The usability test script was written collectively. During the usability test, we alternated between the Moderator and Observer roles.

What did we learn?

The Usability test brought more inputs than we expected. Moreover, we understood the real value of a usability Test. We have learnt that the product looks different from the user perspective. A big usability flaw wasn’t noticed by us as we designed the prototype so it confused our test persons.

What went well?

The usability tests went well.The discussion was rich and fun.We could draw many conclusions and take some important design decisions.
We are happy that we are reserving a whole day for the collaboration.It is a system that we implemented since the beginning but wz started to see the benefits now since it became a habit for us.

What do we want to improve?

We have noticed nothing this week. The tests went well and the assignment itself was rewarding since we have learned and applied new ideas.

[A#6, P5] Paper prototyping and usability testing

(1) Continue to develop (or start a new) paper prototype based on new insights or feedback from your peers.

What and why you have changed your prototype?

We used the feedback we got from our first feedback round, for example to have a dream diary with voice recording.
In the first version of our prototype we build functions that are important before a potential user goes to sleep (the night mode) but in order to test our prototype with its full functionality we decided to extend our prototype with the missing functions (the morning mode).

This is our new version of the prototype:

https://www.figma.com/proto/qH6nfjcUHLOE83Zun9yMlr/Prototype-ver2?node-id=0%3A1&scaling=scale-down&page-id=0%3A1

How you expect this will improve the prototype?

We hope that with the extension of our prototype the user will easier understand how the mobile application should be used than only with the first version.

(2) Conduct (at least) 3 formative usability tests.

Develop a script for your usability test.

(1) Notes for the User
We test our app and not you! Please ask questions and I do my best to answer them. Please think aloud and describe your interaction with our prototype.
We will record your screen and this interview as described in the Consent Form.

(2) Context of the application
Sleepy Heads is a mobile application that can track your sleep.
It was developed to help people to monitor and improve their sleeping problems. Furthermore you have a dream diary, relaxation methods and your sleep will be evaluated.
As part of the usertest we want to test our mobile application and get your feedback.

(3) Questions
How old are you?
Did or do you have sleeping problems?
Did or do you go to a doctor because of your sleeping problems?
What helps you falling asleep?

(4) Szenario(s)
You went to the doctor because of your sleeping problems and he recommended the mobile application ‚Sleepy Heads‘ to you.
You owned a smartwatch and you tracked your sleeping schedule with it until now. You want some more help and thats why you want to use ‚Sleepy Heads‘.
Now you want to go through a relaxation method before going to sleep and listen to a nature sound while falling asleep.
After you wake up you want to write down a dream you had and rate your sleep quality.

(5) Tasks
1. Familiarize yourself with the application and describe your first impression.
2. Please choose a Relaxation method.
3. Please search for sleep sound.
4. Please add a new factor.
5. Please choose the option to record your voice while you are sleeping.
6. Start the sleep modus.
7. Please stop the sleep modus.
8. Please add a new dream in your dream diary. Where would you navigate?
9. Please rate your sleep quality.

(6) Final questions
1. What are pros and cons of our mobile application?
2. Were all of the icons that we used understandable?
3. How did you find it that you had sleep methods and sleep music in the same category?
4. What did you find very good?
5. What would you changed?

(7) Final
Do you have any more questions regarding our mobile application?
Thanks for your time and participation!

Document who is taking what role.

Because of the fact that everyone of us invited one friend for the usertest we decided that the person who knows the interviewee will be the moderator and the other two will document the interview.

Decide if you want to record your test session and how you take notes during the test sessions.

We want to record the voice and the screen of the interviewee but it depends on the person if they agree to it or not.

Document who you are inviting for a test session and how long the session lasted.

1. Usertest: woman, 21 years old, no sleeping problems, but it takes a long time to fall asleep. The interview took 25 minutes.

2. Usertest: woman, 28 years old, has sleeping problems and went to a doctor, melatonin helps her to sleep better. The interview took 18 minutes.

3. Usertest: woman, 24 years old, has problems to wake up because her sleep is too deep, in order to fall asleep she listens to music or podcasts. The interview took 18 minutes.

Seiten: Seite 1, Seite 2

[A#6, P3] Paper prototyping and usability testing

(1) Continue to develop (or start a new) paper prototype based on new insights or feedback from your peers.

Da es während dem Tutorium nicht stattgefunden hat, wurde kein Feedback erhalten und somit auch nichts groß verändert.

(2) Conduct 3 formative usability tests.

a) Skript

  1. Hinweise für den User: Wir testen die App, nicht dich! Fragen gerne stellen, wir können aber versprechen, dass wir sie alle direkt beantwortet werden. Du kannst also nichts falsch machen! Wir bitten dich deine Gedanken laut auszusprechen.
  2. Kontext der Anwendung: ScenicRoute ist ein unkonventionelles Routenplanerprogramm. Es berechnet anders als herkömmliche Routenplanung nicht die schnellste Route, sondern diejenige mit den meisten Sehenswürdigkeiten, den außergewöhnlichsten Attraktionen oder den als sehenswert erachteten Wanderwegen.
  3. Fragebogen: Wie alt bist du? Wie lange wohnst du in xxx?
  4. Szenario: Du stehst morgens um 9 Uhr, machst dir einen Kaffee, frühstückst und kümmerst dich um deine heutigen Uniaufgaben. Deine Arbeit für die Uni ist gegen 17 Uhr in der Regel erledigt und Du nutzt die Zeit um spazieren zu gehen. Meistens zieht es Dich in Richtung des nahegelegenen Parks, indem Du gerne spazieren gehst. An dem heutigen, recht sonnigen, Tag wanderst Du allerdings ziellos durch die Straßen Deines Viertels, Du nutzt den Spaziergang um Dir bei einer nahe gelegenen Rösterei einen Kaffee zu holen und Dich auf eine Bank zu setzen. Auf der gegenüberliegenden Straßenseite fällt Dir ein sehr schönes Gebäude auf. Du vermutest es stammt aus der Renaissance bist Dir aber nicht sicher. Das Gebäude sieht recht offiziell aus und Du fragst Dich, ob es öffentlich genutzt wird. Du probierst das zu Googeln kommst aber nicht weiter und brichst die Suche nach 3 Minuten ab und wünschst dir einen einfacheren Weg bei deinem Spaziergang an eine solche Informationen zu kommen.
  5. Aufgaben: Gucke Dir die App an und beschreib uns wie sie auf Dich wirkt. Mach Dich mit der App vertraut. Beginne eine neue Route zu planen und diese zu starten. Anschließend probiere eine neue Route hinzuzufügen.
  6. Abschließende Fragen: Bist Du der Meinung alles Nötige, was Du für die Nutzung einer solchen App erwartest gefunden zu haben? Hat Dich irgendwas am Design (abgesehen der mangelnden künstlerischen Fähigkeiten der Macher) gestört?
  7. Abschluss: Hast Du noch weitere Anmerkungen oder Fragen?

Vielen Dank für Deine Teilnahme und beim Helfen bei der Weiterentwicklung der App.

b) Rollenverteilung

In Interview 1 und 2 war Marc der Facilitator und Sebastian der Observer. Wir haben uns entschieden für das letzte Interview die Rollen zu tauschen, da Marc die ersten beiden und Sebastian den dritten Interviewten kannte und wir der Meinung waren, dass diese sich wohler fühlen, wenn jemand Bekanntes sie durch die App führt.

c) Decide if you want to record your test session and how you take notes during the test sessions.

Wir haben uns dazu entschieden, die Sessions nicht aufzunehmen, weil wir unsere Interviewees nicht unter Druck setzen wollten. Wir bemühten uns mit den Interviewten eine entspannte Atmosphäre aufrechtzuerhalten, da alle aus unserem Bekanntenkreis stammen. Demnach haben der Observer immer fleißig mitgeschrieben, Kommentare festgehalten und Bewegungen und Mausklicks analysiert.

d) Document who you are inviting for a test session and how long the session lasted.

  1. Tabea (23 Jahre, lebt seit 23 Jahren in Berlin, Interview 15min)
  2. Patricia (24 Jahre, lebt seit 16 Jahren in Berlin, Interview 20min)
  3. Daniel (26 Jahre, seit 8 Jahren in Berlin, Interview 15min)

(3) Document and evaluate the results of your testing.

a) What method did you use to evaluate the results of your usability tests? How did you evaluate the results?

Wir haben uns dazu entschieden, alle Interview Ergebnisse in einem Affinity-Diagram festzuhalten.

Zu Beginn haben wir alle Kommentare und Ideen als Anmerkung gesammelt, dann haben wir passende Über- und Unterüberschriften gesucht und im Anschluss die Kommentare gruppiert. Dies hat uns geholfen einen guten Überblick über unsere Nutzbarkeitstests zu erhalten und was für Verbesserungen wir noch durchführen sollten.

HIER IST DER LINK DAZU: https://jamboard.google.com/d/1u2wq7lK02_Zcluavk9skyVnJBRp10lJ_MeLbp_5A4NU/edit?usp=sharing

b) What did you learn from the testing? What are your main takeaways?

Durch das Testen haben wir zusätzliche interessante Verbesserungsvorschläge an die wir bisher noch nicht gedacht haben erhalten können. Wir haben wertvolle Kritik erhalten bzgl. der Nutzung des Prototypens. Dieser kam größtenteils gut bei den Nutzer:innen an. Der Usability Test hat uns gezeigt, dass unsere Nutzer:innen sehr explorativ an den Prototypen herangegangen sind und teilweise entgegen unserer Erwartung sich durch einen anderen Weg geklickt haben. Lediglich die Darstellung der App, aufgrund der nicht wirklich großen künstlerichen Fähigkeiten der Entwickler wurde regelmäßig kritisiert (obwohl der dritte Testteilnehmer äußerte, dass es die App individuell machen würde (allerdings eher mit einem Augenzwinkern)). Wir haben also einen Blick outside the box erhalten können

(4) Reflection

Wer hat welchen Beitrag geleistet?
Aufgrund von begrenzter zeitlicher Möglichkeiten haben Marc und Sebastian diese Woche die Durchführung der Interviews übernommen und die Ergebnisse im Anschluss zusammengestellt. Milos hat das Ganze dann nochmal überprüft und abgesegnet.

Was habt ihr gelernt?
Wir haben gelernt, dass verschiedene Nutzer:innen mit einer App unterschiedlich umgehen und man aus diesem Grund vor der professionellen Entwicklung einer Anwendung definitiv eine Vielzahl von Usability-Tests mit unterschiedlichen Personen durchführen sollte. Dies hilft ein breites Spektrum der Nutzung zu erhalten und dadurch die Bedürfnisse der Nutzer:innen zu erfüllen.

Was lief gut?
Wir hatten Glück mit unseren Interviewees, da diese spontan Zeit gefunden haben und sehr motiviert mitgearbeitet haben. Das Moodboard hat uns geholfen besonders schnell einen Überblick über die gesammelten Informationen zu bekommen. Unsere Gruppenarbeit war sehr kommunikativ. Unstimmigkeiten konnten wir schnell klären.

Was möchtet ihr verbessern?
Uns ist aufgefallen, dass wir uns sehr gut verstehen, dadurch die Arbeitsatmosphäre sehr gut im Team ist, wir dennoch mittlerweile häufig vom Thema abkommen und uns verquatschen, weswegen die Arbeit nicht mehr ganz so effizient ist wie früher. Einerseits macht sie viel Spaß, andererseit verlieren wir viel Zeit. Wir wollen versuchen in Zukunft wieder etwas fokussierter zu arbeiten.

[A#6, P6] Paper prototyping and usability testing

(1) Continue to develop (or start a new) paper prototype based on new insights or feedback from your peers.

Da es keine Feedback-Runde(n) gab in der Übung, haben wir auch keine Verbesserungen am Prototypen (Klickdummy) vorgenommen.

(2) Conduct (at least) 3 formative usability tests.

(2.0) Skript:

Testperson:
Datum:
Beginn / Startzeit:
Ende / Endzeit:
Max. Zeit: 30minuten

(1) Einführung

  • Vorstellungsrunde + Aufgabenerklärung
  • Wir testen die App – oder genauer, einen digitalen interaktiven Prototypen. Wir testen nicht dich!
  • Wir nehmen zur nachträglichen Auswertung die digitale Testung auf. Die Aufzeichnung bleibt bei uns intern und wird direkt nach der Auswertung gelöscht. Es wird nur das Audio aufgenommen. Du selbst bist nicht zu sehen.
  • Stelle gerne Fragen! Ich kann aber nicht versprechen, alle Fragen direkt zu beantworten!
  • Bitte denke laut (Think aloud)

(2) Kontext der Anwendung erklären

GoWalkies ist eine WebApp mit der es möglich sein soll, Gassirouten zu planen. GoWalkies bietet dazu an, vorgefertigte Routen auszuwählen und zu verändern. Im Rahmen dieses Usability Test möchten wir die Schnellroutenplanungs-Funktion (anhand unsere digitalen Papierprototypen) testen und Feedback dazu einholen.

(3) Fragebogen

  1. … Hast du einen Hund oder mehrere?
  2. … Welche digitalen Geräte besitzt Du?
  3. … Welche digitalen Geräte benutzt Du regelmäßig im Alltag?
    Wie bspw. Smartphone, Tablet, Laptop, Desktop-PC.
  4. … Wie würdest Du Dich selbst im Umgang mit digitalen Geräten einschätzen?
    (Anfänger/in) 1-6 (Experte)
  5. … Wie würdest Du Dich selbst im Umgang mit dem Internet und Webseiten einschätzen?(Anfänger/in) 1-6 (Experte)
  6. Bevor es losgeht, eine letzte Frage: Mit welchem Gerät wirst Du den Usability Test jetzt durchführen?

(4) Szenario(s)

Du kommst nach einem langen Arbeitstag im Büro (vor dem Rechner und über Akten)  nach Hause und hast wenig Zeit, denn deine zwei Kinder und dein/e Partner/in warten auf Dich und erwarten, dass Du am häuslichen Familienleben teilnimmst. Dein zweijähriger Schäferhund braucht aber auch Auslauf – und Abwechslung. Denn Du hast selbst höhere Ansprüche, wenn man sich ein Haustier anschafft. Deshalb willst Du eine halbe Stunde raus mit dem Hund und es soll nicht jedesmal die gleiche Route sein. 

Da Deine Zeit so knapp bemessen ist, darf die Planung nicht länger als 15 Minuten dauern.

  • Du setzt dich also an den Essenstisch im Wohnzimmer,
  • öffnest deinen Laptop,
  • den Browser,
  • tippst die Adresse der Webseite von GoWalkies ein,
  • meldest Dich an und
  • legst los mit der Planung.

Für den Test bist Du Harry Hausen!

(5) Aufgaben

1. Mache Dich mit der Anwendung vertraut.
Beschreibe, was Du siehst und Deinen ersten Eindruck.

2. Wie würdest Du nun, nachdem Du Dich an Deinen Rechner gesetzt hast, einen solchen kurzen Spaziergang planen?

(6) Abschließende Fragen

Welche Vor- und Nachteile siehst Du grundsätzliche bei der Schnellrouten-Funktion von GoWalkies?
Stell Dir vor, Du könntest ein Feature bezogen auf die Routenplanung verbessern, was wäre das und wie würdest Du es verbessern? Warum?

(7) Abschluss​​​​​​​​​​​​​​​​​​​​​

Hast Du weitere Fragen oder Anmerkungen?
Vielen Dank für Deine Teilnahme! Du hast uns sehr geholfen.

(2.1) Document who is taking what role.

1. und 2. Usability Testing: Ailis und Hanna Mitschrift, Aljoscha Moderator

3. Usability Testing: Aljoscha abwesend (Uni-Seminar), Hanna: Mitschrift, Ailis: Moderator

1. Usability Test:

  • Familienangehörige, Hundebestitzerin eines Hundes, nutzt regelmäßig Smartphone & Laptop
  • schätzt sich als erfahren im Umgang mit Webseiten und digitalen Geräten ein
  • Dauer: 27 Minuten

2. Usability Test:

  • Wer ist das? Mitbewohner, Hundebesitzer eines Hundes, nutzt regelmäßig Smartphone, Laptop, Desktop PC und Tracker
  • schätzt sich als Experte im Umgang mit Webseiten und digitalen Geräten ein
  • Dauer: 27 Minuten

3. Usability Test:

  • Wer ist das? Freundin, Hundebesitzerin von zwei Hunden, nutzt regelmäßig Smartphone
  • schätzt sich als eher erfahren im Umgang mit Webseiten und digitalen Geräten ein
  • Dauer: 25 Minuten

Dokumentation:

1. Usability Test: Mitschrift durch Hanna und Ailis als nicht-standardisiertes Verlaufsprotokoll

2. Usability Test: Mitschrift durch Ailis als stichwortartiges, nicht-standardisiertes Verlaufsprotokoll

3. Usability Test: Mitschrift durch Hanna als nicht-standardisiertes Verlaufsprotokoll, Ailis als Moderatorin

Wir haben uns für eine reine Audioaufnahme entschieden, um – durch die reine Digitalität der Testungen –  Ängste ggü. (dauerhafter) Bildspeicherungen auf Seiten der Tester:innen zu vermeiden. Damit wollten wir eine möglichst angstfreie und offene Umgebung schaffen, die zu einem produktiven Austausch und möglichst großer Offenheit führt. Weiterhin waren wir (meist) zu dritt, sodass wir eine protokollierende Person, eine moderierende Person und eine observierende Person während der Testungen hatten. So konnte mind. eine Person sich vollständig auf die Mausbewegungen und die Aussagen der Person konzentrieren, ohne parallel (inter-)agieren zu müssen.

Die Testpersonen waren alle vor Ort bei einem aus unserem Team (bei Hanna zwei und bei Ailis). Dadurch war der Mitschriftenführer auch immer bei der Testperson und konnte so einfacher jede Regung notieren.

Ein Screencast wäre wahrscheinlich sinnvoll gewesen, wäre der Prototyp insgesamt größer. Da er sich auf wenige Bildschirme beschränkt und „nur“ einen Weg/eine Aufgabe ermöglicht, wären Screencasts zur nachträglichen Auswertung ein zu großer Overhead. Außerdem konnten wir als Gruppe nach jeder Testung direkt ein Auswertungsgespräch führen und so die wichtigen Erkenntnisse direkt herausfiltern.

(3) Document and evaluate the results of your testing.

Gesammelte Notizen aus unseren Usability Tests – 1
Gesammelte Notizen aus unseren Usability Tests – 2
Gesammelte Notizen aus unseren Usability Tests – 3

Wir haben uns dazu entschieden, alle (analogen) Notizen im Miro-Board zusammenzutragen, um gemeinsam darauf zugreifen zu können. Anschließend haben wir die Notizen in ein Affinity Diagramm übersetzt. Mit Hilfe des Affinity Diagramms und Dot-Votings konnten wir die Ergebnisse und Einsichten gewichten und so entsprechend weitere wichtige Schritte für Änderungen und Ideen festhalten.​​​​​​​

Gruppierte und gevotete Notizen

Bei der Erstellung des Affinity Diagramm trat wieder der Prozess der Kategorienaushandlung auf: Während der Sortierung der Notizzettel sind uns weitere Kategorien eingefallen, die zur Sortierung Sinn machen könnten. Dadurch haben wir nochmal neue Perspektiven zur Auswertung gewonnen. So hatten wir begonnen, die Notizzettel nach den einzelnen Ansichten (Pages) der Anwendung zu sortieren, dort jeweils nach „Aussehen“ und „Inhalt“. Dann haben wir aber die größeren Kategorien erweitert noch mit „Accessibility“/“Farben und Co.“ sowie „Usability“ und „Nice-to-have“.

Alle unser Erkenntnisse und next Steps aus unseren Usability Tests.

Die main takeaways und nächsten Schritte haben wir dann direkt im Miro-Board festgehalten – helle Post-its. So können wir die nächsten Schritte angehen und haben dadurch auch eine Priorisierung.

Der Klickdummy auf der Startseite ist zu eingeschränkt. Einige Tester:innen wollten direkt mit der Planung loslegen. Hier ist entweder der Klickdummy auf der Startseite zu erweitern oder das Szenario anzupassen.

Auch auf der Seite der Routenplanung hätte man den Filterdialog einbauen sollen – um die Aufgabe bzgl. der 30 Minuten zu erfüllen. Denn so gab es immer ein kurzes Stocken in dem Bildschirm bezogen auf die Aufgabenstellung/das Szenario. 

Es kam zu etwas Verwirrung durch die Karte von Frankfurt, weil mit Charlottenburg in der Ansicht gestartet wurde. Hier muss detaillierter an den entsprechenden Inhalten, die den Testern präsentiert werden, gearbeitet werden – zu viel Zeitaufwand für das gesamte Modul, nicht leistbar im Rahmen des Moduls.

Insgesamt: Es sollte ggf. mehr als ein Weg durch die Anwendung im Klickdummy implementiert sein, um die gestellte Aufgabe durch eine Person erfüllen zu lassen, damit die Usability Testung dafür aussagekräftiger wird. 

Seiten: Seite 1, Seite 2

Assignment #6: Paper prototyping and usability testing

  ?   Deadline: Tuesday, 1st June 12 PM (noon)
 ?   Goals: Conduct formative usability tests.

(1) Continue to develop (or start a new) paper prototype based on new insights or feedback from your peers.

Please document:

  • What and why you have changed your prototype?
  • How you expect this will improve the prototype?

(2) Conduct (at least) 3 formative usability tests.

  1. Develop a script for your usability test.
  2. Document who is taking what role.
  3. Decide if you want to record your test session and how you take notes during the test sessions.
  4. Document who you are inviting for a test session and how long the session lasted.

(3) Document and evaluate the results of your testing.

  • What method did you use to evaluate the results of your usability tests? How did you evaluate the results?
  • What did you learn from the testing? What are your main takeaways?