Bei der Durchführung von Usability Studie oder Experiment geht es vor allem darum, die Ursache-Wirkungs-Beziehung zu ermitteln. Das bedeutet, wenn man das User-Interface geändert oder Design gestaltet hat und zum späteren Zeitpunkt wissen möchte, ob das zu dem von ihm bezweckten Verhalten bei den NutzerInnen führt.
Um die Evidenz der Schlussfolgerungen zu bewerten, muss man sich drei Faktoren zuwenden:
- External validity
Bei der externen Gültigkeit geht es darum, in welchem Maß kann man die Ergebnisse einer bestimmten Studie verallgemeinern. Hierbei spielt es eine wichtige Rolle, wo die Studie durchgeführt wurde. Man sollte hier in der Lage sein, dass die gleichen Ergebnisse bei Wiederholung der Durchführung einer Studie erzielt werden. Egal, ob mit dem gleichen oder anderen Setting, Lab oder auch in der realen Welt.
- Internal validity
Bei der internen Gültigkeit geht es darum, dass man sich sicher sein, dass die erzielten Ergebnisse letztlich auf die Benutzeroberfläche (auf ein verändertes visuelles Design oder ein verändertes Interaktionsdesign) zurückzuführen sind. Man sollte auch feststellen, dass nicht ein anderer Faktor letztlich zu den Veränderungen oder Ergebnissen geführt hat.
- Reliability
Die Zuverlässigkeit der Ergebnisse bedeutet, dass wenn man den Test und die Beobachtung wiederholt, dann gelangt man immer wieder zu den gleichen Ergebnisse.