Alle, die sich mit User Research beschäftigen, wissen, wie schnell Testteilnehmende den Überblick verlieren können, wenn die Aufgabenstellung nicht verständlich geschrieben ist. Bereits ein falsch verstandener Satz oder eine übersehene Frage kann Testteilnehmende auf die falsche Spur bringen – und wenn sie dann noch an einem entfernten Ort und unbegleitet an dem Test teilnehmen, gibt es nur eine Möglichkeit, sie wieder auf den richtigen Weg zu bringen: Die Erstellung eines soliden Testplans.
Teste dein Skript
Das Rechercheteam von UserTesting hat herausgefunden, dass zu einer erfolgreichen Studie auch die Durchführung eines Pilot-Tests gehört. Bei einem Pilot-Test durchläuft nur ein*e Testteilnehmer*in den Testplan. Das Team schaut sich dann das Video an und notiert sich eventuelle Schwierigkeiten, auf die der oder die Testteilnehmende gestoßen ist oder andere Aspekte, mit denen das Skript verbessert werden könnte.
Ein erfolgreicher Pilot-Test zeichnet sich durch Folgendes aus:
- Der oder die Nutzer*in hat alle Fragen beantwortet.
- Das Skript verwendet keine irreführenden Begriffe oder Fachausdrücke, die die Testteilnehmenden verunsichern könnten.
- Der oder die Testteilnehmende hat die richtigen Bereiche der Webseite, der App oder des Prototypen bewertet.
Sollte einer der genannten Punkte nicht zutreffen, kann die Studie entsprechend geändert und mit einem oder einer anderen Testteilnehmer*in erneut getestet werden. Wiederhole diesen Durchlauf an deinem Studienskript so lange, bis die Testteilnehmenden die Studie erfolgreich abschließen können.
5 Dinge, auf die du bei einem Pilot-Test achten solltest
1. Ergeben deine Aufgaben und Fragen für die Testteilnehmenden Sinn?
In einer Remote Usability Studie ist eine unmissverständliche Kommunikation wichtig. Eine ungeeignete Aufgabenformulierung kann die Testteilnehmenden verwirren und die Art und Weise beeinträchtigen, wie sie die Aufgabe erfüllen. Dadurch wird der gesamte Wert deiner Recherche gefährdet.
Achte beim Ansehen des Videos darauf, wie die Testteilnehmenden die Aufgaben und Anweisungen lesen.
- Verstehen sie alle verwendeten Begriffe?
- Geben sie mündliches Feedback, das deine Fragen direkt beantwortet?
- Ist es vorgekommen, dass du ein bestimmtes Verhalten erwartet hast, die Testteilnehmenden jedoch lediglich darüber diskutiert haben?
Häufig kann bereits eine kleine Änderung der Aufgabe dabei helfen, dass die Testteilnehmenden sich wie gewünscht verhalten. Sollten Begriffe, Fragen oder Anweisungen missverstanden werden, kannst du sie anpassen, bis sie leicht verständlich sind.
2. Können die Testteilnehmenden deine Fragen ausreichend beantworten?
Viele Fragen umfassen mehrere Aspekte. Dies kann dazu führen, dass die Testteilnehmenden einen Teil der Frage beantworten, einen anderen jedoch vergessen. Bei einem Pilot-Test kannst du schnell alle Aufgaben und Fragen ausfindig machen, die ggf. aufgeteilt werden müssen.
Auf Folgendes solltest du achten:
- Sind die Antworten der Testteilnehmenden detailliert genug?
- Hat das Feedback der Testteilnehmenden eine ausreichende Qualität, um zugeschnitten und mit anderen geteilt werden zu können?
- Gehen die Testteilnehmenden wie vorgesehen auf die Ziele und Vorgaben deiner Studie ein?
Wenn nicht, kannst du diese Fragen eventuell in unterschiedliche Aufgaben aufteilen, bevor du die vollständige Studie veröffentlichst.
3. Können die Testteilnehmenden alle erforderlichen Schritte ausführen, z. B. sich bei einem bestimmten Account anmelden oder mit den richtigen Webseiten interagieren?
Es ist schon übel, wenn man beim Durchsehen der Aufnahmen feststellen muss, dass alle Testteilnehmenden die Live-Webseite statt des Prototyps aufgerufen haben – oder sich aufgrund eines Fehlers in deiner App erst gar nicht anmelden konnten. Dabei kann in vielen Fällen ein zusätzlicher Satz oder eine gut platzierte URL den Unterschied ausmachen.
4. Funktionieren alle Links im Skript richtig?
Mit einem Probedurchgang kannst du ganz einfach prüfen, ob alle URLs deiner Studie korrekt funktionieren.
5. Erfassen die Screeningfragen die Testteilnehmenden, die du brauchst?
Hast du eine bestimmte Art von Testteilnehmenden für deine Studie im Blick? Dann ist der Pilot-Test ein tolles Tool, um festzustellen, ob deine Screeningfragen die richtige Zielgruppe erfassen.
Füge deinem Pilot-Test eine zusätzliche Frage hinzu, mit der du die Testteilnehmenden darum bittest, ein bestimmtes Merkmal zu beschreiben, das zu deiner Zielgruppe passt – z. B. eine Berufsbezeichnung oder Branche.
Überarbeite deine Screeningfragen so lange, bis du die optimale Zielgruppe für deine Studie erfasst hast.
Den Testplan ändern
Möglicherweise möchtest du deinen Testplan vor dem Hintergrund der Ergebnisse des Pilot-Tests aktualisieren. Zu diesem Zweck kannst du im Aktionmenü den Menüpunkt „Testdetails bearbeiten“ aufrufen.
Dir ist klar geworden, dass sich die Testteilnehmenden nicht optimal für deinen Test eignen? In diesem Fall kannst du die Screeningfragen überprüfen und ggf. bearbeiten.
Solltest du über einen uneingeschränkten Zugang verfügen und wesentliche Änderungen an deiner Studie vornehmen wollen, kannst du im Optionsmenü „Ähnlichen Test erstellen“ aufrufen und deinen Entwurf entsprechend bearbeiten.
Achtung: Die Pilot-Tests werden deinen vierteljährlichen Studien-Nutzungslimits angerechnet. Wenn dein Abonnement vierteljährliche Studien-Nutzungslimits vorsieht, solltest du entsprechende Prüfungen und Wiederholungen an der Übungsstudie vornehmen. Dann kannst du zusätzliche Testpersonen hinzufügen, um die Studien-Nutzungslimits nicht zu überschreiten.
Nach erfolgreichem Abschluss eines Pilot-Tests
Nach erfolgreichem Abschluss eines Pilot-Tests kannst du deiner Studie weitere Nutzer*innen hinzufügen, um eine noch größere Zielgruppe zu erreichen.
Wähle im Optionsmenü „Weitere Testteilnehmende hinzufügen“.
Wenn du mehrere Zielgruppen ansprichst, kannst du jeder Zielgruppe die gewünschte Anzahl an Testteilnehmenden hinzufügen.
Füge die gewünschte Anzahl an Testteilnehmenden hinzu. Wähle „Testteilnehmende hinzufügen“, um weitere Sessions zu veröffentlichen.
Ähnliche Ressourcen
Pilot-Tests durchführen (UserTesting University)
Master Class: Testerstellung (UserTesting University)
Bitte teilen Sie Ihr Feedback zu diesem Artikel. Ihr Feedback wird zur Verbesserung des Artikels verwendet und es sollte nicht länger als 5 Minuten dauern. Artikelbewertungen werden absolut vertraulich behandelt, es sei denn, Sie bitten um eine Rückmeldung.