Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Usability Fragebögen

No description
by

on 20 February 2015

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Usability Fragebögen

Agenda
Praktische Übung
Intuitivität und QUESI
Literatur
Seminar: Methoden der
Usability Evaluation
Dozentin: Dr. Anja Katharina
Huemer
Wintersemester
2014/2015
Agenda:
1. Einführung Evaluation mit Usability Fragebögen
Work Experience
intuitive use
Blackler, A. & Hurtienne, J. (2007). Towards a unified view of intuitive interaction: definitions, models and tools across the world.
MMI Interaktiv, 13
, 36-54.
Brooke, J. (1996).
SUS - A quick and dirty usability scale. Usability evaluation in industry,189
,194.
Hurtienne, J. (2011).
Image schemas and design for intuitive use. Exploring new guidance for user interface design.
Dissertation, Technische Universität Berlin, Berlin.
Hurtienne, J., & Naumann, A. (2010). QUESI – A questionnaire for measuring the subjective consequences of intuitive use. In R. Porzel, N. Sebanz & M. Spitzer (Hrsg.),
Interdisciplinary College 2010. Focus Theme: Play, Act and Learn
(S. 536). Sankt Augustin: Fraunhofer Gesellschaft.
Lewis, J. R., & Sauro, J. (2009). The factor structure of the system usability scale. In:
Human Centered Design
(S. 94-103). Springer Berlin: Heidelberg.


Usability Fragebögen
ASQ, SUS, QUESI

von Cornelia Schindlbeck und Katharina Müller
Praktische Übung -
Gestalte dein ideales
Arbeitszimmer!


ASQ: After Scenario Questionnaire
Studien zum SUS
SUS: System Usability Scale
Literatur
Mohs, C., Naumann, A, & Kindsmüller, M.C. (2007). Mensch-Technik-Interaktion: intuitiv, erwartungskonform oder vertraut?
MMI-Interaktiv, 13
, 25-35.
Naumann, A., & Hurtienne, J. (2010). Benchmarks for intuitive interaction with mobile devices. In:
Proceedings of the 12th international conference on Human computer interaction with mobile devices and services
(S. 401-402). Lisbon, Portugal: ACM.
Prümper, J., (1997). Der Benutzungsfragebogen ISONORM 9241/10: Ergebnisse zur Reliabilität und Validität. In: Liskowsky, R., Velichkovsky, B. M.&Wünschmann, W. (Hrsg.),
Software-Ergnomie '97: Usability Engineering: Integration von Mensch-Computer-Interaktion und Software-Entwicklung.
Stuttgart: B.G.Teubner. (S. 254-262).
Slaughter, L., Norman, K. L., & Shneiderman, B. (1998). Assessing users' subjective satisfaction with the Information System for Youth Services (ISYS). Computer usability studies: the ASQ.
ACM SIGCHI Bulletin, 23
(1), 78-81.
Tullis, T. S., & Stetson, J. N. (2004).
A comparison of questionnaires for assessing website usability
. In Usability Professional Association Conference.

Bilderquelle: www.google.com
Vielen Dank für eure
Aufmerksamkeit!
QUESI (Questionnaire for the subjective consequences of intuitive use)
22.01.2015
Einführung Evaluation
mit Usability Fragebögen
5 Aspekte der Usability nach Nielsen (1994)
Satisfaction
Messung psychometrischer Eigenschaften
Kriterien der Zielerreichung
(ISO 9241-11)
1. Reliabilität
Wie zuverlässig misst der Test?

Schätzung meistens anhand des Koeffizienten Alpha (0 bis 1)

ab 0,7 als „gut“ zu beurteilen

Je mehr Skalenstufen, desto reliabler

2. Validität
Misst der Test das, was er messen soll?

Pearson-Korrelation (-1 bis 1) 0,3 – 0,4 schon ausreichend

Ein Test kann reliabel sein und gleichzeitig nicht valide!
Effektivität
Effizienz
Akzeptanz
Operationalisierungs-
methoden
Produktbezogene
Methoden
Interaktionsbezogene
Methoden
Benutzerbezogene
Methoden
Effektivität
Erhoffter und subjektiv erreichter Zeitgewinn

Anzahl bewältigter Aufgaben

Vollständigkeit der Aufgaben

Effizienz
Kognitiver Aufwand

Nötige Hilfsmittel

Subjektive Zeiteinschätzung

Akzeptanz
Subjektive Beurteilung der Gebrauchstauglichkeit

Einstellung gegenüber Produkt

Testbereitschaft

Kaufbereitschaft

Tatsächliches Kaufverhalten

Objektive vs. subjektive Variablen bei der Usability Evaluation

Objektive Variablen

Benötigte Zeit
Anzahl erfolgreicher Durchführungen
Fehlermessungen

Subjektive Variablen

Likert-Fragebogen-Items: Leichtigkeit, Beurteilung des Zeitaufwandes etc.

3 Items
Summative 7-Punkte-Likert-Scala

Bildung des Durchschnitts aller drei Antworten

Reliabel & leicht zu interpretieren

Wert zwischen 1 und 7: Maß für die Usability des Systems in Bezug auf das untersuchte Szenario

Sehr kurz

folglich gut umsetzbar

Sehr allgemeine Erhebung

Verwendung nur zusätzlich zu weiterem Test

10 Items, 5-Punkte-Likert-Skala

Reliabilität: 0.91

Ungerade Fragen: positiv formuliert

Gerade Fragen: negativ formuliert

Positiv formulierte Items: Skalenwert – 1

Negativ formulierte Items: 5 – Skalenwert

Itemwerte aufsummieren und mit 2,5 multiplizieren -> ergibt Score

Score von 0 bis 100 -> leichte Interpretation

Auswertung
Kurz
Frei zugänglich, geringe Kosten
Reliabel und robust
Erhebung mehrerer Aspekte
Leichte Interpretierbarkeit
Hohe Korrelation mit anderen subjektiven Messungen
Viele Vergleichsdaten, da bereits häufig verwendet

Vorteile
Lewis und Sauro (2009)
Faktorenstruktur: fanden 2 unabhängige Faktoren:

Usability (8 Items)
Learnability (2 Items)

->korrelieren beide hoch mit der Overall-SUS
Vergleich von 5 Fragebögen (SUS, QUIS, …):

SUS: reliabelste Ergebnisse
schon bei N=8 konnte zu 75% das richtige Ergebnis festgestellt werden

Tullis & Stetson (2004)
Hinzufügen einer Adjektiv-Rating-Skala
Schaffer (2010)
ASQ und SUS
Einführung
Was ist Intuition?
"Intuition ist eine Methode der Erkenntnisgewinnung, die der unmittelbar ganzheitlichen Sinneswahrnehmung und intellektuell-emotionalen Erfassung eines Gegenstandes den Vorrang einräumt vor dem systematischen Beobachten und Analysieren. Die Intuition als das unmittel-bare Gewahrwerden eines Sachverhalts in seinem Wesen ist oft von dem Gefühl der Gewissheit (Evidenz) begleitet.“ (Schaefer et al. 2000)
Merkmale Intuitiver Benutzbarkeit
IUUI Research Group
unbewusst

Einbezug/Aktivierung von Vorwissen

schnelle kognitive Verarbeitung

effektive Interaktion

"mühelos"


Ckeckliste für intuitive Interaktionsdesigns
Modell: Kontinuum des Wissens
Maß der
subjektiven Konsequenzen intuitiver Benutzung
(Nutzerzufriedenheit)

verfügbar auf Deutsch und Englisch

5 Subskalen

14 Items (= Statements über die Konsequenz der Benutzung)
5-stufige Likert-Skala

zusätzliche Erfassung demografischer Daten, Vorerfahrung mit dem Produkt und dem Produkttyp
Aufbau

Produktspezifische Referenzwerte
wahrgenommene kognitive Beanspruchung
-> unbewusste Anwendung von Vorwissen

wahrgenommene Zielerreichung
-> effektive Interaktion

wahrgenommener Lernaufwand
-> Anwendung von Vorwissen

Maß an Vertrautheit/Vorwissen
-> Anwendung von Vorwissen

wahrgenommene Fehlerrate
-> effektive Interaktion
Auswertung
Durchführung
Interaktion mit Produkt

Ausfüllen des Fragebogens

Auswertung
Skalensore
= Mittelwert der jeweiligen Subskala

Gesamtscore
= Mittelwert aller Items

je höher der Score, desto höher die Wahrscheinlichkeit einer intuitiven Benutzbarkeit (keine invertierten Items)
Auswertung
5 Subskalen
QUESI: Vor- und Nachteile
kostenlos
schnell durchführbar
einfache Interpretierbarkeit
produktspezifische Referenzwerte
Einbezug der Vorerfahrung


fehlende Normwerte
geringe Stichprobengröße für produktspezifische Referenzwerte
produktspezifische Referenzwerte sind oft relativ schnell nicht mehr aktuell

2. ASQ (After Scenario Questionnaire)
3. SUS (System Usability Scale)
4. Intuitive Benutzbarkeit
6. QUESI (Questionnaire for the subjective consequences of intuitive use)
5. Praktische Übung anhand des QUESI
Referenzwerte
Lernability
Efficiency
Memorability
Errors
Aufbau
Auswertung
Aufbau
Einordnung
Eignung

Konsistenz
Gestaltgesetze
Feedback
selbsterklärend
Affordances
Vorgaben:
Raumform: L-förmig (Variante A)
Wand A: 7m, Wand B: 4 m, Wand C: 75 cm, Wand D: 75 cm
Füge (mindestens) eine Tür ein, die nach außen aufgeht
Füge (mindestens) ein Fenster ein und wähle einen Hintergrund
Wähle einen Bodenbelag
Wähle eine Wandfarbe (und ggf. Deckenfarbe)
Installiere (mindestens) eine Lampe
Lass nun deiner Kreativität freien Lauf und richte das Zimmer ein
(mindestens ein Arbeitstisch, Stuhl und Aufbewahrungsmöbelstück)

Verträglichkeit
Full transcript