Ich suche Ihre Erfahrung zu diesem Thema. Das möchte ich verbessern.
Ich benutze einen Paarprozess, um natürliche Gespräche zu erfassen.
Nachdem Sie Ihren Probanden einen Fragebogen für den Hintergrund gegeben haben, stellen Sie sie in einer natürlichen Büroumgebung vor eine Maschine und geben Sie ihnen eine Aufgabe. Meine Arbeit umfasst Programmierwerkzeuge, daher führen die Probanden Paarprogrammierung durch, aber der Paaransatz kann auch für andere Programme funktionieren. Der Vorteil der Verwendung von Paaren besteht darin, dass sie sich gegenseitig Fragen stellen und versuchen, die Anweisungen gemeinsam auszuarbeiten.
Die Verwendung von Paaren ist natürlicher als der übliche Ansatz "laut denken", bei dem Sie den Probanden sagen, dass sie sagen sollen, was sie denken. Das Problem bei diesem Ansatz ist, dass Sie die von den Probanden verwendete Metapher nicht so einfach erfassen können, wodurch Sie einen Einblick in ihr Denken erhalten. Beispiel: Für ein Compiler-Tool: "Oh, warum wird das angezeigt?", "Hmm, ich denke, es ist so, als würden Sie eine Übereinstimmung finden, aber das falsche Verzeichnis eingeben?" Der Trick ist, dass die Probanden, wenn sie sich gegenseitig ihre Verwirrung erklären müssen, einen guten Grund haben, ehrliche Anstrengungen zu unternehmen.
Ich benutze Camtasia mit Mikrofonen, um zu erfassen, was auf dem Bildschirm angezeigt wird und was sie sagen. Anschließend transkribiere ich die Sitzung und kommentiere bestimmte Aktionen, die auf dem Bildschirm ausgeführt wurden. [Camtasia stammt von TechSmith, den Machern von Morae.] Möglicherweise möchten Sie eine Kamera verwenden, um die Motive aufzunehmen und zu sehen, wo sie mit den Fingern zeigen. Das Durchgehen der Transkripte ist viel hilfreicher, wenn Sie versuchen, das Ergebnis aufzuschreiben. [Weiter: Der Schreibvorgang selbst ist hilfreich, damit Sie die richtigen Fragen stellen, auch wenn Sie Ihre Ergebnisse nicht veröffentlichen möchten.]
Bitten Sie sie nach der Ausführung der Aufgabe, ihre Erfahrungen zu beschreiben, wofür sie das Programm verwenden würden, was ihnen gefallen hat und was sie gerne verbessert sehen würden. Das Erhalten dieses Feedbacks ist nicht unbedingt so, dass Sie ihre wörtlichen Vorschläge zur Umsetzung verwenden. Schauen Sie lieber genauer hin, um zu sehen, was ihre Erwartungen waren und ob sie das Programm anders konzipiert haben, als Sie es beabsichtigt hatten. wieder, um zu sehen, welche Metaphern sie verwendeten.
Sehen Sie sich auch die Leistung der Aufgabe selbst an. Haben sie erreicht, was sie sollten? Abhängig davon, welches Programm Sie testen, möchten Sie möglicherweise festlegen, wie lange bestimmte Aufgaben gedauert haben.
Beginnen Sie mit einem Pilottest mit einer Ihrer Meinung nach sehr grundlegenden Aufgabe. Es würde Sie überraschen, dass selbst die einfachen Aufgaben länger dauern, als Sie gedacht haben. Bisher habe ich das, was ich gewonnen habe, verwendet, um die Syntax in meinem Tool zu ändern und hier und da einige Funktionen zu optimieren. Die größten Vorteile habe ich jedoch darin gesehen, wie ich das Tutorial schreibe und das Tool einrahme.