Erstellen eines Testablaufs: Häufige Fehler und wie man sie vermeidet

Das Erstellen eines guten Testplans ist wahrhaft eine gewisse Kunst. Um ehrlich zu sein bedarf es einfach einer gewissen Übung. Zum Glück hat unser Forschungsteam schon alles gesehen. Hier sind ihre besten Tipps, um häufige Fallstricke im Testablauf zu vermeiden. 

1. Frage nicht nach personenbezogenen Daten (PII – persönlich identifizierbaren Informationen): Unsere Testteilnehmer*innen werden niemals aufgefordert, ihre vertraulichen persönlichen Daten während eines Tests preiszugeben. Um effiziente Studien durchzuführen und gleichzeitig auf die Erfassung sensibler personenbezogener Daten zu verzichten, solltest du die Testteilnehmer*innen anweisen, gefälschte oder „Dummy“-Nummern anzugeben. Für den Fall, dass Testteilnehmer*innen während der Teilnahme an einer Studie eine Transaktion durchführen müssen, solltest eine Geschenkkarte oder einen Gutscheincode bereitstellen. Dieses Dokument behandelt die Datenschutzrichtlinien für persönlich identifizierbare Daten von UserTesting und stellt den Unterschied zwischen grundlegenden und sensiblen personenbezogenen Daten heraus. In unserem Knowledgebase-Artikel „Best Practices“ erfährst du, wie du es vermeidest, versehentlich personenbezogene Daten zu erfassen.
2. Stelle geeignete Testanmeldedaten bereit: Wenn dein Testablauf erfordert, dass sich Benutzer*innen bei deiner Webseite oder App anmelden, stelle sicher, dass du entsprechende Anmeldeinformationen (Benutzername und Passwort) zur Verfügung stellst, die sie verwenden können. Du kannst diese Informationen einfach an betreffender Stelle in Textform deiner Aufgabe oder Frage hinzufügen. Wenn keine Anmeldedaten bereitgestellt werden, wird dein Test in Wartestellung versetzt, wodurch sich deine Ergebnisse verzögern. In unserem Schulungskurs Testen mit eindeutigen Anmeldedaten erfährst du mehr. 
3. Führe einen Pilot-Test durch: Im Bereich der User Experience-Forschung sind nur wenige Situationen frustrierender, als wenn du einen Test mit einer umfangreichen Gruppe von Testteilnehmer*innen startest, nur um am Ende unbrauchbare Ergebnisse zu erhalten, weil der Test fehlerhaft war oder die Testteilnehmer*innen sich als ungeeignet erwiesen haben. Vermeide solche Fehlschläge, indem du zunächst einen Pilotversuch mit einer Person durchführst. Stell dir einen Pilot-Test als den „Test eines Tests“ vor: Die Ergebnisse eines Pilot-Tests können dir dabei helfen, zu beurteilen, ob die Aufgabenstellungen klar oder möglicherweise verwirrend sind, ob die Aufgaben das erforderliche Maß an Feedback liefern, ob du die gewünschte Zielgruppe erfasst und wie schnell sich deine Sessions füllen werden. 
• Tipp: Wenn es mehrere Segmente oder mehrere Zielgruppen gibt, die du testen möchtest — z. B. wenn du die Desktop- und die mobile Erfahrung mit einer Webseite vergleichst oder wenn du neue Käufer*innen mit bestehenden Käufer*innen vergleichst — dann führe den Test zunächst mit jeweils einem*einer Testteilnehmer*in jeder Zielgruppe durch.
• Tipp: Wenn das Resultat des Pilot-Test erhebliche Änderungen am Testablauf erfordert, erstelle einen ähnlichen Test aus dem Original, bearbeite den neuen Test und starte ihn im Anschluss. Diese Vorgehensweise stellt sicher, dass die Reihenfolge der Aufgaben in den Metriken und beim Exportieren der Ergebnisse über Excel konsistent ist. Führe die vollständige Veröffentlichung in einer neuen Studie durch; andernfalls stimmt die Reihenfolge nicht, wenn du die Daten am Backend exportierst. 
4. Teste mit einer kleineren Anzahl von Teilnehmenden: Nachdem du einen Pilotversuch durchgeführt hast, solltest du bei der Festlegung der Anzahl der Testteilnehmer*innen für deinen Test auf das Motto „weniger ist mehr“ setzen. Eine Anzahl von 5–8 Testteilnehmer*innen (pro Gruppe, oder „Zielgruppe“, wenn dein Test aus mehreren Zielgruppen besteht) ist für die meisten Tests ausreichend. Entscheidet man sich dafür, mit einer großen Anzahl von Teilnehmenden zu testen, bedeutet das, dass es länger dauert, die Sessions zu füllen. Du solltest auch bedenken, dass der Hauptwert von UserTesting in der qualitativen Forschung liegt – da du die Ergebnisse nicht statistisch auswertest (quantitative Forschung), ist eine umfangreiche Stichprobengröße unnötig. Im Kurs Wie viele Teilnehmer*innen sollten in einen Test einbezogen werden? der UserTesting University erfährst du mehr darüber, wie du die optimale Anzahl von Testteilnehmer*innen ermittelst.
• Tipp: Wenn du mehrere Zielgruppen für deine Studie ansprichst, solltest du darauf achten, dass jede Gruppe ausreichend vertreten ist (5–8 Teilnehmer), wenn der Test gestartet wird. 
5. Vermeide es, Suggestivfragen zu stellen: Für optimale Ergebnisse ist es entscheidend, ausgewogene, unvoreingenommene Fragen zu stellen. Wenn die Testteilnehmer*innen leicht vorhersehen können, welche Antwort du von ihnen erwartest, werden sie eher diese Antwort wählen, auch wenn sie möglicherweise nicht zutreffend ist. Beispiele für solche voreingenommenen oder suggestiven Fragen sind: „Wie hat dir das Design geholfen, deine Aufgabe zu erledigen?“ (die Annahme ist, dass das Design TATSÄCHLICH hilft) oder „Inwiefern ist dieses Design besser als das, das du heute verwendest?“ 
• Tipp: Füge bei Multiple-Choice-Fragen immer die Auswahlmöglichkeit „Sonstiges“ oder „Keine der oben genannten Optionen“ hinzu.
6. Vermeide es, Ja/Nein-Fragen zu stellen: Eine weitere Möglichkeit, wie Testteilnehmer*innen die Antworten meist genau vorhersagen können, ist, wenn die Frage ihnen standardmäßig eine 50-prozentige Chance gibt, die Antwort richtig zu beantworten — auch wenn die Teilnehmenden die Frage vielleicht gar nicht verstanden haben. Daher solltest du Ja/Nein-Fragen in jedem Fall vermeiden.
• Tipp: Diese Vorgehensweise eignet sich für Testaufgaben und Screening-Fragen. Nutzer*innen sollten angewiesen werden, die Option auszuwählen, die am ehesten auf sie zutrifft, gefolgt von einer Liste von Aussagen. Dies ist die neutralste Art, Screeningfragen zu formulieren.
7. Verwende keinen Fachjargon: Halte es möglichst einfach. Du weißt viel mehr über den Entwurf als die Testteilnehmer*innen, also sei vorsichtig mit der Verwendung von Wörten, die für dein Projektteam zwar verständlich und sinnvoll erscheinen, deinen Testteilnehmer*innen jedoch möglicherweise nicht so klar sind. Eine ungeeignete Aufgabenformulierung kann die Testteilnehmer*innen verwirren und die Art und Weise beeinträchtigen, wie sie die Aufgabe erfüllen. Dadurch wird der gesamte Wert deiner Recherche gefährdet. An dieser Stelle bietet ein Pilotversuch (siehe vorheriger Tipp) entscheidende Aufschlüsse. 
8. Kommuniziere genau, wie lange oder umfangreich an einer Aufgabe gearbeitet werden soll: Wenn du keine klaren Anweisungen dazu gibst, wie lange an einer Aufgabe gearbeitet werden soll oder in welchem Stadium die Arbeit an einer Aufgabe beendet werden soll, besteht die Gefahr, dass deine Testteilnehmer*innen überrascht oder sogar frustriert reagieren. Dies kann sich zudem auf deine Daten auswirken, weil ein*e Teilnehmer*in möglicherweise weiter gegangen ist, als du es erwartet hast, und einige deiner Folgefragen nicht mehr genau beantworten kann. Lege daher klare Parameter bezüglich Zeit und Aufgabenerledigung fest: „Höre auf, sobald du einen Artikel in den Einkaufswagen gelegt hast oder 5 Minuten vergangen sind.“ 
9. Bitte Teilnehmende im UserTesting-Panel NICHT, dich außerhalb der Plattform zu kontaktieren oder einer Kundengruppe beizutreten: Die Testteilnehmer*innen im UserTesting-Panel werden von UserTesting verwaltet. Ihre Daten werden vertraulich und in Übereinstimmung mit unseren Geschäftsbedingungen behandelt. Bitte die Testteilnehmer*innen nicht, dich außerhalb der UserTesting-Plattform zu kontaktieren oder deiner Kundengruppe beizutreten, da dies ihre persönlichen Daten offenlegt (und gegen die Nutzungsbestimmungen der Plattform verstößt). 

Andere Ressourcen

Im Kurs Die richtige Zielgruppe finden der UserTesting University erfährst du mehr darüber, wie du die richtigen Zielgruppen für deinen Test findest. 

Bitte teilen Sie Ihr Feedback zu diesem Artikel. Ihr Feedback wird zur Verbesserung des Artikels verwendet und es sollte nicht länger als 5 Minuten dauern. Artikelbewertungen werden absolut vertraulich behandelt, es sei denn, Sie bitten um eine Rückmeldung.