Gruppe 4 hatte nicht ihr Google Form, also ihr Feedback, im letzten Blogbeitrag verlinkt bzw. ihr Feedback im Blogpost beschrieben. Wir konnten Gruppe 4 leider nicht über Mattermost erreichen, weshalb wir leider nicht ihr Feedback einarbeiten konnten.
(2) Preparation for a summative evaluation
1. Please recall your experience and takeaways from your first testing session (#Assignment 6)
Wir möchten uns stärker an unser Skript als in Assignment 6 halten, da unsere Interviews alle sehr verschieden geworden sind(zumindestens der Sprechteil des Moderators)
2. Prepare all documents (script, consent form, …) you will need during the test session:
a. Für die Verwendung und Auswertung der gesammelten Daten, brauchen Wir eine Eigenständigkeitserklärung. Wir haben eine Online Format als Vorlage genommen.
b. Ein Skript für die Einführung durch den Moderator. Das Meiste konnten wir von unserem alten Skript übernehmen, da es gut funktioniert hatte. Wir müssen aber die Aufgaben erneut formulieren, da die Aufgabe konkret mit einem bestimmten Ziel ausformuliert werden soll.
4.This time, you will also measure the satisfaction of users, by using a post-task or post-test questionnaire.
We plan to take UEQ for measuring the satisfaction of users. Here are our considerations:
(1) We prefer a post-test questionnaire, since the full process from create account task to log out task is a complete user journey on our web application, which cannot be seperately measured. Lack of any single task will make the user journey incomplete and will make the satisfaction evaluation unreliable. The usage of social play is based on a smoothly enjoyable gaming evening, which consists of several tasks to be completed through our web application. But the usage process will be interrupted by task-level satisfaction assessment. And since all task satisfaction level together account for the general usage of social game, we decided to use post-test satisfaction questionnaire.
(2) Between different standardized measurements we prefer SUS, UEQ and AttrakDiff2 in terms of their reliability and widely usage. We first don‘t want to choose questionnaire with too many questions, since we are afraid that those questionnaires will cause implatiency of participants. Compared to SUS, UEQ and AttrakDiff2 measures satisfaction on a more well-round level with different dimenstions. But AttrakDiff2 has a strong focus on hedonistic quality, which is not our main purpose, we therefore choose UEQ for our satisfaction measurement.
The questionnaire can be reached by scanning the QR Code:
We made a google form questionnaire used the standard questionnaire provided by UEQ. The QR code is then self-made using the onling platform QR-Code Monkey.
5. Document preparation.
We document the preparation as by using the assignment questions.
1: Da wird immer noch keine weiteren Reaktionen oder Informationen von Gruppe 8 bekommen haben, haben wir aus ihrem letzten Blogpost versucht die Probleme herauszulesen. Leider war dort nur von einem fehlenden Back-Button die Rede.
Wir wissen daher leider auch nicht, ob dies das größte Problem für unsere User war.
Wir werden es lösen, indem wir einen „Back to Menu“-Button hinzufügen. Ein normaler Back-Button wäre hier nicht sinnvoll, da wir dann wieder zurück in die Schema-Gestaltung kommen. Das Schema ist allerdings zu diesem Zeitpunkt schon fertig erstellt wurden. Es kann darüber nachgedacht werden, ob eine „Schema bearbeiten“-Funktion hinzugefügt werden soll. Dies ist allerdings aktuell noch nicht geplant. Dafür wird vor dem abschließenden Erstellen des Schemas ein „Sind Sie sicher [….]“-Bildschirm eingefügt werden.
Wir erwarten, dass User dann in dieser letzten Überprüfung nochmal sicherstellen, dass das Schema alles enthält, was gebraucht wird.
2: Es gibt keine weiteren Usability-Issues die wir im Prototypen ändern möchten. Was nun am Prototypen noch verbessert werden kann ist die Implementierung weiterer Funktionen. Da diese sich allerdings vom Design und der Bedienung nicht von den bisher Erstellten unterscheiden, wird dies nicht mehr im Rahmen dieses Projektes umgesetzt. Was nun noch umgesetzt wird ist die endgültige Ansicht und das Einfügen der Finalen Icons und das Erweitern der Fragen im implementierten Beispiel. Auch würden wir gerne die Anregungen von Gruppe 8 einarbeiten, sofern wir diese noch erhalten sollten und wir diese auch als relevant ansehen.
(2) Preparation for a summative evaluation
Wir möchten dieses mal ein etwas umfassenderen Test durchführen. Die letzten Tests waren sehr kurz. Leider gibt der Umfang unseres Prototypen nicht viel mehr her, allerdings möchten wir dies dadurch abfangen, dass wir die Aufgaben offener Stellen und deutlich weniger „eingreifen“ als beim letzten Mal. Dies ist auch zur Messung der effectiveness wichtig und hillfreich.
Wir werden dieses mal keine Audio oder Videoaufnahme machen. Wir haben beim letzten Test (auch im Vergleich zum ersten Interview) gemerkt, dass sich die Probanden doch deutlich entspannter gezeigt haben, wenn keine Aufnahme mitlief. Wir möchten dieses entspannte Umfeld behalten. Ebenfalls werden wir bei den Tests zu dritt sein. Da wir hierdurch die Rollen auf 1 Moderator und 2 Protokollanten aufteilen können wird eine gesonderte Aufnahme auch nicht zwingend notwendig sein.
Das PDF wird übernommen.
Um die Zufriedenheit zu messen, ziehen wir den “Single Ease Question (SEQ)” Fragebogen heran. Er passt zu unseren Use-Cases am besten. Einige der anderen Fragebögen messen unter Anderem die wahrgenommene Zeit, die eine Aufgabe in Anspruch nimmt. Diese Fragebögen kommen für uns nicht in Frage, da unsere Anwendung sich auf Juristen als Zielgruppe konzentriert. Somit kann es mehr Zeit beanspruchen dieselben Aufgaben zu erledigen, wenn sich der Nutzer mit Jura nicht auskennt. Mit dem SEQ vermeiden wir dieses Problem und können auch bessere Rückschlüsse auf die richtige Zielgruppe treffen. Sobald sich Laien gut zurecht finden, können wir davon ausgehen, dass sich Experten ebenfalls zurecht finden werden. (https://measuringu.com/seq10/)
Hiermit getan. Das Script zum Testen sowie die Aufgabenstellungen werden von A#6 übernommen. Ebenfalls ist die Rollenverteilung die selbe.
Gruppe 2 hat bei uns 17-19 Makel festgestellt, die folgenden erschienen ihnen am Wichtigsten:
Link zur Startseite mit Logo (links oben) ist nicht offensichtlich, die User wussten nicht direkt, wie sie zurück zur Startseite gelangen.
wie vorgeschlagen, werden wir das Wort „Startseite“ hinzufügen
anschließend werden User erkennen, dass das Logo (und das Wort „Startseite“) im Kasten zur Homepage zurückführen
Bei den „Buddies in meiner Nähe“ war den Usern unklar, ob das noch „meine“ Buddies sind, oder ganz andere Leute. Das hat die Nutzenden sehr verwirrt.
um dieses Missverständnis zu klären, werden die Buddies auf dieser Seite nur „User“ genannt
die Änderung sollte helfen, dass unsere User wissen, sie müssen nicht mit den Usern auf dieser Seite befreundet sein, damit sie hier angezeigt werden
Top5-Buddies Seite ist nicht richtig verlinkt von der Startseite aus. Dieses ist nur ein kleiner Makel und typisch für einen Prototypen in diesem Stadium.
die Top5-Buddies Seite ist der Start der Buddiesseiten und sollte daher von der Startseite erreichbar sein, dieser Link wird einfach getauscht
anschließend sind die User nicht mehr verwirrt, wenn sie von beiden Menüs auf dieselbe „Startseite“ gelangen
Menüfarben vom Sidemenü passen nicht zu den Farben im Header. Das ist eine subjektive Meinung und hat keine maßgebende Severität.
dies werden wir vielleicht nicht ändern, da ein buntes Sidemenü doch sehr aufdringlich ist
Schriftfarben stimmen nicht auf allen Seiten überein, das soll aber nicht weiter schlimm sein. Das werden wir überprüfen und uns auf eine Schriftfarbe einigen, die überall benutzt wird
mit einheitlichen Schriftfarben sollte es zu keinen Unstimmigkeiten beim Anblick unseres UserInterfaces mehr kommen
Wir werden folgende dieser von der Gruppe 2 dargestellten Probleme in Angriff nehmen.
Link zur Startseite ist jetzt beschriftet mit „Startseite“
Verlinkungen auf der Homeseite sind für Buddy-Seiten da
einheitliche Überschriften auf jeder Seite
(2) Preparation for a summative evaluation
1. What are things you would like to do differently this time?
Wir haben nach den letzten Evaluationen festgestellt, dass unsere Aufgaben nicht sehr genau waren und sie gerne etwas mehr aufteilen wollen (siehe Assignment 6). Inzwischen können wir sogar noch Aufgaben hinzufügen, wie wir es für die Heuristic Evaluation (Assignment 8) getan haben. Mit unserer Aufteilung der Rollen für’s Usability Testen waren wir sehr zufrieden.
Testperson: Datum: Beginn / Startzeit: Ende / Endzeit: Max. Zeit:
(1) Einführung
Vorstellungsrunde + Aufgabenerklärung Wir testen die App – oder genauer, einen digitalen interaktiven Prototypen. Wir testen nicht dich! Wir nehmen zur nachträglichen Auswertung die digitale Testung auf. Die Aufzeichnung bleibt bei uns intern und wird direkt nach der Auswertung gelöscht. Es wird nur das Audio aufgenommen. Du selbst bist nicht zu sehen. Stelle gerne Fragen! Ich kann aber nicht versprechen, alle Fragen direkt zu beantworten!
(2) Kontext der Anwendung erklären
GoWalkies ist eine WebApp mit der es möglich sein soll, Gassirouten zu planen. GoWalkies bietet dazu an, vorgefertigte Routen auszuwählen und zu verändern. Im Rahmen dieses Usability Test möchten wir die Schnellroutenplanungs-Funktion (anhand unsere digitalen Papierprototypen) testen und Feedback dazu einholen.
(3) Szenario(s)
Du kommst nach einem langen Arbeitstag im Büro (vor dem Rechner und über Akten) nach Hause und hast wenig Zeit, denn deine zwei Kinder und dein/e Partner/in warten auf Dich und erwarten, dass Du am häuslichen Familienleben teilnimmst. Dein zweijähriger Schäferhund braucht aber auch Auslauf – und Abwechslung. Denn Du hast selbst höhere Ansprüche, wenn man sich ein Haustier anschafft. Deshalb willst Du eine halbe Stunde raus mit dem Hund und es soll nicht jedesmal die gleiche Route sein.
Da Deine Zeit so knapp bemessen ist, darf die Planung nicht länger als 15 Minuten dauern.
Du setzt dich also an den Essenstisch im Wohnzimmer,
öffnest deinen Laptop,
den Browser,
tippst die Adresse der Webseite von GoWalkies ein,
meldest Dich an und
legst los mit der Planung.
(4) Aufgaben
Aufgabe 1: Erstelle dir ein Konto (Daten werden nicht gepeichert, man kann sich aber durchklicken)
Aufgabe 2: Melde dich an
Aufgabe 3: Finde eine max. 30min lange Route
Aufgabe 4: Finde heraus, wie oft du bestimmte Routen bereits gelaufen bist.
Aufgabe 5: Finde heraus, wer die Hunde von Martin sind und was er über sich und seine Hunde schreibt.
Aufgabe 6: Melde dich ab
(5) Post evaluation skript
Questionnaire
Please answer the following questions. Tick the circles that best describes your answer. Please do not leave any question blank.
1. Do you have one or more dogs? O Yes O No
2. How would you rate yourself in the following domains?
novice
expert
Using digital devices
O
O
O
O
O
O
O
O
O
O
Using and navigating websites
O
O
O
O
O
O
O
O
O
O
For each word below, please indicate how well it describes the app.
Describes the app very poorly
Describes the app very well
Accurate
O
O
O
O
O
O
O
O
O
O
Annoying
O
O
O
O
O
O
O
O
O
O
Helpful
O
O
O
O
O
O
O
O
O
O
Interesting
O
O
O
O
O
O
O
O
O
O
Likable
O
O
O
O
O
O
O
O
O
O
Easy
O
O
O
O
O
O
O
O
O
O
Satifying
O
O
O
O
O
O
O
O
O
O
Frustrating
O
O
O
O
O
O
O
O
O
O
Good naming and labeling
O
O
O
O
O
O
O
O
O
O
Relevance of images
O
O
O
O
O
O
O
O
O
O
Good look and feel
O
O
O
O
O
O
O
O
O
O
(6) Abschluss
Hast Du weitere Fragen oder Anmerkungen? Vielen Dank für Deine Teilnahme! Du hast uns sehr geholfen.
Consent Form
Einwilligungserklärung
Einwilligungserklärung gemäß DSGVO in die Verarbeitung von Daten durch die Entwickler*innen von GoWalkies! Für unsere Erhebung erfolgt die Verarbeitung folgender personenbezogener Daten:
Pseudonymisierte Zuordnungen zwischen ID und Antwortbogen
Pseudonymisierte Antworten
Die oben genannten Daten werden zum Zweck einer Produktverbesserung erhoben und zudem auf den Servern von der TU Berlin gespeichert. Die Daten können nur von berechtigten Personen eingesehen und bearbeitet werden. Sollten weitere Daten benötigt werden, braucht es dafür separat wieder die Zustimmung des Nutzers. Eine (automatische) Löschung der erhobenen Daten erfolgt nach 2 Monaten.
Widerrufsrecht
Der Unterzeichnende hat das Recht, diese Einwilligung jederzeit ohne Angabe einer Begründung mit Wirkung für die Zukunft zu widerrufen. Hierfür genügt eine E-Mail an max@maxmustermann.de. Die Rechtmäßigkeit der aufgrund der Einwilligung bis zum Widerruf erfolgten Verarbeitung wird durch den Widerruf nicht berührt.
Folgen des Nicht-Unterzeichnens
Der Unterzeichnende hat das Recht, dieser Einwilligungserklärung nicht zuzustimmen – da unsere Evaluation jedoch auf die Erhebung und Verarbeitung der zu Anfang genannten Daten angewiesen ist, würde eine Nichtunterzeichnung eine Inanspruchnahme des Dienstes ausschließen.
Zustimmung durch den Betroffenen
Hiermit versichert der Unterzeichnende, der Erhebung und der Verarbeitung seiner Daten zum Zweck einer Produktverbesserung freiwillig zuzustimmen und über die Datenverarbeitung und seine Rechte belehrt worden zu sein:
Also known as simple controlled experiment, bucket testing, controlled online experiments or split-run testing. In an experiment like this we have 2 groups and in the simplest version just one variant is different. That`s an user experience research methodology. In the last years large companies started to use this like LinkedIn, Facebook, Google, Microsoft and Instagram. Multivariate or multinomial testing is the version where more than 2 versions get tested together in parallel. Observational, quasi-experimental or other non-experimental situations are unvalid for simple A/B tests. Two-sample hypothesis tests are appropriate for this.
It is easy for the respondent to evaluate and respond to complex questions since they have a range to choose from, being closer to what they think and how they feel.
Heloise Montini
Die Likert-Skala ist ein Verfahren zur Messung persönlicher Einstellungen. Die Skalen bestehen aus mehreren Items vom Likert-Typ. Diese sind Aussagen, denen die Befragten auf einer vorgegebenen mehrstufigen Antwortskala mehr oder weniger stark zustimmen oder die sie ablehnen können. Die Punktwerte der einzelnen Antworten werden ungewichtet addiert und ergeben so den Wert der Skala. Die Bezeichnung Likert-Skala ist nicht zu verwechseln mit der Antwortskala eines einzelnen Items vom Likert-Typ.
Beispiel einer Likert-Skala
Grundidee
Man interessiert sich für die Einstellung der Versuchsperson, ein bestimmtes Objekt betreffend. Alle dazugehörigen Items werden als strikt positive oder negative Aussagen formuliert. Der Likert-Skala liegt die Überlegung zu Grunde, dass die Versuchsperson die Aussage eines einzelnen Items umso mehr ablehnt, je weiter ihre Einstellung von der Formulierung des Items abweicht. In der Gesamtheit werden dann die Antworten auf den Grad der Einstellung abgebildet. In der konkreten Ausführung eines Fragebogens bilden die Antwortmöglichkeiten für ein Item den Grad der Zustimmung oder Ablehnung der befragten Person zur Aussage des Items ab. Die möglichen Antworten sind als natürliche Zahlen kodiert und aufsteigend angeordnet.
Skalenniveau
Antworten auf die einzelnen Items einer Likert-Skala sind formal ordinal- beziehungsweise rangskaliert.
Weiteres Beispiel einer Likert-Skala
Das Ergebnis für ein Likert-Skala-Item kann daher durch den Median oder Modus als Lageparameter zusammengefasst werden. Darüber, ob man auch den Mittelwert verwenden darf, gibt es unterschiedliche Auffassungen.
Rensis Likert
geboren: 5. August 1903 in Cheyenne, Wyoming;
gestorben: 3. September 1981 in Ann Arbor, Michigan
Likert studierte an der University of Michigan und der Columbia University. Er ist Gründer des Institute for Social Research an der University of Michigan. 1960 wurde er in die American Academy of Arts and Sciences gewählt.
Bei der Durchführung von Usability Studie oder Experiment geht es vor allem darum, die Ursache-Wirkungs-Beziehung zu ermitteln. Das bedeutet, wenn man das User-Interface geändert oder Design gestaltet hat und zum späteren Zeitpunkt wissen möchte, ob das zu dem von ihm bezweckten Verhalten bei den NutzerInnen führt.
Um die Evidenz der Schlussfolgerungen zu bewerten, muss man sich drei Faktoren zuwenden:
External validity
Bei der externen Gültigkeit geht es darum, in welchem Maß kann man die Ergebnisse einer bestimmten Studie verallgemeinern. Hierbei spielt es eine wichtige Rolle, wo die Studie durchgeführt wurde. Man sollte hier in der Lage sein, dass die gleichen Ergebnisse bei Wiederholung der Durchführung einer Studie erzielt werden. Egal, ob mit dem gleichen oder anderen Setting, Lab oder auch in der realen Welt.
Internal validity
Bei der internen Gültigkeit geht es darum, dass man sich sicher sein, dass die erzielten Ergebnisse letztlich auf die Benutzeroberfläche (auf ein verändertes visuelles Design oder ein verändertes Interaktionsdesign) zurückzuführen sind. Man sollte auch feststellen, dass nicht ein anderer Faktor letztlich zu den Veränderungen oder Ergebnissen geführt hat.
Reliability
Die Zuverlässigkeit der Ergebnisse bedeutet, dass wenn man den Test und die Beobachtung wiederholt, dann gelangt man immer wieder zu den gleichen Ergebnisse.
