Durchführen eines Pilot-Tests

Alle, die sich mit Benutzerforschung beschäftigen, wissen, wie schnell Teilnehmende den Überblick verlieren können, wenn die Aufgabenstellung nicht verständlich geschrieben ist. Bereits ein falsch verstandener Satz oder eine übersehene Frage kann Teilnehmende auf die falsche Spur bringen – und wenn sie dann noch an einem entfernten Ort und unbegleitet an dem Test teilnehmen, gibt es nur eine Möglichkeit, sie wieder auf den richtigen Weg zu bringen: Die Erstellung eines soliden Testablaufs.

Teste dein Skript

Das Research-Team von UserTesting hat herausgefunden, dass zu einer erfolgreichen Studie auch die Durchführung eines Pilot-Tests gehört. Bei einem Pilot-Test durchläuft nur ein*e Teilnehmer*in den Testablauf. Das Team schaut sich dann das Video an und notiert sich eventuelle Schwierigkeiten, auf die der*die Teilnehmer*in gestoßen ist oder andere Aspekte, mit denen das Skript verbessert werden könnte. 

Ein erfolgreicher Pilot-Test zeichnet sich durch Folgendes aus:

  • Der*die Nutzer*in hat alle Fragen beantwortet.
  • Das Skript verwendet keine irreführenden Begriffe oder Fachausdrücke, die die Teilnehmenden verunsichern könnten.
  • Der*die Teilnehmer*in hat die richtigen Bereiche der Webseite, der App oder des Prototypen bewertet.

Sollte einer der genannten Punkte nicht zutreffen, kann die Studie entsprechend geändert und mit einer anderen teilnehmenden Person erneut getestet werden. Wiederhole diesen Durchlauf an deinem Studienskript so lange, bis die Testteilnehmer*innen die Studie erfolgreich abschließen können.

5 Dinge, auf die du bei einem Pilot-Test achten solltest

1. Ergeben deine Aufgaben und Fragen für die Teilnehmenden Sinn?

In einer Remote-Usability-Studie ist eine unmissverständliche Kommunikation wichtig. Eine falsch formulierte Aufgabe kann die Teilnehmenden verwirren und die Art und Weise beeinträchtigen, wie sie die Aufgabe erfüllen. Dadurch wird der gesamte Wert deiner Recherche gefährdet.

Achte beim Ansehen des Videos darauf, wie die Teilnehmenden die Aufgaben und Anweisungen lesen.

  • Verstehen sie alle verwendeten Begriffe?
  • Geben sie mündliches Feedback, das deine Fragen direkt beantwortet?
  • Ist es vorgekommen, dass du ein bestimmtes Verhalten erwartet hast, die Teilnehmenden jedoch lediglich darüber diskutiert haben?

Häufig kann bereits eine kleine Änderung der Aufgabe dabei helfen, dass die Teilnehmenden sich wie gewünscht verhalten. Sollten Begriffe, Fragen oder Anweisungen missverstanden werden, kannst du sie anpassen, bis sie leicht verständlich sind.

2. Können die Teilnehmenden deine Fragen ausreichend beantworten?

Viele Fragen umfassen mehrere Aspekte. Dies kann dazu führen, dass die Teilnehmenden einen Teil der Frage beantworten, einen anderen jedoch vergessen. Bei einem Pilot-Test kannst du schnell alle Aufgaben und Fragen ausfindig machen, die ggf. aufgeteilt werden müssen.

Auf Folgendes solltest du achten:

  • Sind die Antworten der Teilnehmenden detailliert genug?
  • Haben die Ö-Töne der Teilnehmenden eine ausreichende Qualität, um ausgeschnitten und mit anderen geteilt werden zu können?
  • Geht der*die Teilnehmer*in wie vorgesehen auf die Ziele und Vorgaben deiner Studie ein?

Wenn nicht, kannst du diese Fragen eventuell in unterschiedliche Aufgaben aufteilen, bevor du die vollständige Studie veröffentlichst.

3. Kann der*die Teilnehmer*in alle erforderlichen Schritte ausführen, z. B. sich bei einem bestimmten Account anmelden oder mit den richtigen Webseiten interagieren?

Es ist schon übel, wenn man beim Durchsehen der Aufnahmen feststellen muss, dass alle Teilnehmenden die Live-Webseite statt des Prototyps aufgerufen haben – oder sich aufgrund eines Fehlers in deiner App erst gar nicht anmelden konnten. Dabei kann in vielen Fällen ein zusätzlicher Satz oder eine gut platzierte URL den Unterschied ausmachen.

4. Funktionieren alle Links im Skript richtig?

Mit einem Probedurchgang kannst du ganz einfach prüfen, ob alle URLs deiner Studie korrekt funktionieren.

5. Erfassen die Screeningfragen die Teilnehmenden, die du brauchst?

Hast du eine bestimmte Art von Testteilnehmenden für deine Studie im Blick? Dann ist der Pilot-Test ein tolles Tool, um festzustellen, ob deine Screeningfragen die richtige Zielgruppe abdecken.

Füge deinem Pilot-Test eine zusätzliche Frage hinzu, mit der du die Teilnehmenden darum bittest, ein bestimmtes Merkmal zu beschreiben, das zu deiner Zielgruppe passt – z. B. eine Berufsbezeichnung oder Branche.

Überarbeite deine Screeningfragen so lange, bis du die optimale Zielgruppe für deine Studie erfasst hast.

Den Testablauf ändern

Möglicherweise möchtest du deinen Testablauf vor dem Hintergrund der Ergebnisse des Pilot-Tests aktualisieren. Zu diesem Zweck kannst du im Optionsmenü den Menüpunkt „Testdetails bearbeiten“ aufrufen. 

Screen_Shot_2021-10-01_at_3.29.43_PM.png

Dir ist klar geworden, dass sich der*die Teilnehmer*in nicht optimal für deinen Test eignet? In diesem Fall kannst du die Screeningfragen überprüfen und ggf. bearbeiten.

Screen_Shot_2021-10-01_at_3.30.54_PM.png

Solltest du über eine uneingeschränkte Zugangslizenz verfügen und wesentliche Änderungen an deiner Studie vornehmen wollen, kannst du im Optionsmenü „Ähnliche Nutzertests erstellen“ aufrufen und deinen Entwurf entsprechend bearbeiten. 

Achtung: Die Pilot-Tests werden auf deine vierteljährliche Studien-Nutzungslimits angerechnet. Wenn dein Abonnement vierteljährliche Studien-Nutzungslimits vorsieht, solltest du entsprechende Prüfungen und Wiederholungen an der Übungsstudie vornehmen. Dann kannst du zusätzliche Testpersonen hinzufügen, um die Studien-Nutzungslimits nicht zu überschreiten.

Screen_Shot_2021-10-01_at_3.29.02_PM.png

Nach erfolgreichem Abschluss eines Pilot-Tests

Nach erfolgreichem Abschluss eines Pilot-Tests kannst du deiner Studie weitere Nutzer*innen hinzufügen, um eine noch größere Zielgruppe zu erreichen.

Wähle im Optionsmenü „Weitere Teilnehmende hinzufügen“.

Screen_Shot_2021-10-01_at_3.32.00_PM.png

Wenn du mehrere Zielgruppen ansprichst, kannst du jeder Zielgruppe die gewünschte Anzahl an Teilnehmenden hinzufügen.

Screen_Shot_2021-10-01_at_3.33.56_PM.png

Füge die gewünschte Anzahl an Teilnehmenden hinzu. Wähle „Teilnehmende hinzufügen“, um weitere Sessions zu veröffentlichen. 

Ähnliche Ressourcen

Pilot-Tests durchführen (UserTesting University)

Master Class: Testerstellung (UserTesting University)

War dieser Beitrag hilfreich?
18 von 22 fanden dies hilfreich

Kommentare

0 Kommentare

Zu diesem Beitrag können keine Kommentare hinterlassen werden.