Comment éviter et gérer les contributeurs imposteurs (UserTesting)

9 mai 2024 14:06

Apprenez des stratégies pour rédiger des filtres efficaces et poser des questions pendant le test à commande pour valider que voscontributeurs sont bien ceux qu’ils prétendent être.

Sur cette page :

Éviter les contributeurs imposteurs
Traiter les activités suspectes

Nous comprenons l’importance d’avoir un réseau de haute qualité auquel vous pouvez faire confiance lorsque vous collectez des aperçus de vraies données humaines. Nous investissons et mettons à jour en permanence les solutions du réseau de contributeurs conçues pour garantir que vous recevez des avis authentiques et de qualité en signalant les « contributeurs imposteurs », c'est-à-dire les personnes qui se présentent sous un faux jour et donnent des avis de mauvaise qualité avant qu'ils ne parviennent à votre tableau de bord.

Il existe également de nombreuses façons de réduire votre exposition aux contributeurs imposteurs lorsque vous construisez un test, de la façon dont vous recrutez les contributeurs à la collecte et à l'analyse des données. Cet article couvre les meilleures pratiques et la façon de signaler les problèmes d'avis de contributeurs à UserTesting.

Éviter les contributeurs imposteurs

La façon la plus importante d'éviter les mauvais contributeurs est de mettre en place des filtres, des scénarios et des questions test de manière à minimiser l’exposition aux mauvais acteurs.

Définir les audiences

Rejoindre le réseau de contributeurs. Comprendre l'expérience contributeur – de la réalisation de questions des filtrages et de l'examen des scénarios à la réalisation des tests – est l'un des meilleurs moyens d'améliorer vos tests.

Rédige une bonne page de questions de filtrage. L'une des meilleures façons de réduire le nombre de contributeurs imposteurs est de faire en sorte qu'il soit difficile pour un contributeur non qualifié de deviner facilement la bonne réponse. En plus de suivre nos meilleures pratiques en matière de questions de présélection, voici quelques techniques que nous vous recommandons :

Intégrez des réponses « factices ». Lors de la création de questions de filtrage, incluez des réponses qui sont fausses ou inventées. Ces réponses peuvent consister en une liste de produits qu'un individu pourrait utiliser dans son rôle actuel, de marques d'aliments qu'un individu pourrait donner à son chien, ou d'un traitement qu'il pourrait recevoir pour un problème médical. Si l'individu sélectionne la réponse factice, il est « rejeté » du test.
Inclure des questions et du jargon spécifiques au produit ou au secteur. Créez des questions des filtrages que seule une personne ayant des connaissances spécifiques sur votre produit, votre expérience ou votre secteur connaîtrait.

Demandez aux contributeurs de valider leur expérience. Vous devez demander aux contributeurs de valider leur expérience ou leurs données démographiques dans le cadre d'un test (par exemple, en partageant leur profil LinkedIn). Toutefois, vous devez informer les contributeurs dans une question de filtrage que vous leur demanderez de partager des données personnelles sensibles, en leur donnant la possibilité de s'y opposer. Pour en savoir plus sur la demande d'informations personnelles sensibles et de données à caractère personnel, cliquez ici.

Exemple :

Lors de ce test, il vous sera demandé de partager votre profil LinkedIn. Ces informations ne seront utilisées que pour valider votre expérience et ne seront pas partagées. Consentez-vous à fournir ces informations ?

Oui, j'accepte de partager mon profil LinkedIn pour participer à ce test. (Doit être sélectionné)
Non, je ne consens pas à partager mon profil LinkedIn pour participer à ce test. (Disqualifiant)

Utilisez des questions de filtrage déjà enregistrées – La rédaction de plusieurs questions complexes destinées à éliminer les imposteurs à chaque fois que vous créez un test prend du temps. Veillez à enregistrer vos questions de filtrage de haute qualité pour accélérer votre processus de création de tests, et mettez-les à la disposition des autres membres de votre équipe pour diffuser les meilleures pratiques. Cependant, vous devez les ajuster périodiquement (en particulier les réponses factices), afin d'éviter que des contributeurs indésirables ne reconnaissent des schémas dans vos questions.

Ajoutez une question de filtragesur la fraude. Ajoutez une question de filtrage qui rappelle à l'individu que s'il fait de fausses déclarations, il s'expose à une suppression et/ou à un non-paiement.

Exemple

Acceptez-vous de partager vos propres réflexions et expériences ? Pour rappel, si vous faites une fausse déclaration de quelque manière que ce soit, vous risquez de ne pas être payé pour ce test et/ou d'être retiré du panel conformément aux Conditions d'utilisation de UserTesting.

Je suis d'accord (Doit être sélectionné)
Je ne suis pas d'accord (Disqualifiant)

💡 Suivez notre cours à la demande pour découvrir d'autres bonnes pratiques en matière de questions de présélection.

Ne donnez pas trop d'informations lorsque vous écrivez un scénario. N'oubliez pas que le scénario est communiqué au contributeur après qu'il a répondu aux questions de filtrage, mais avant qu'il ne commence le test. Donner trop d'informations permet à un contributeur imposteur de se familiariser avec le sujet avant de voir des questions.
Enregistrez les contributeurs de haute qualité pour les tester à l'avenir. Capturez les avis à l'avenir en utilisant les contributeurs favoris. C'est un excellent moyen de recueillir de avis auprès de contributeurs de confiance.
Recrutez vos propres ressources. Faire appel à vos propres contributeurs via les invitations spontanées ou Mon Réseau peut contribuer à la qualité si vous êtes sûr de savoir qui vous invitez à l'étude. Cependant, si vous partagez un lien de test sur les médias sociaux, dans le cadre d'une étude d'enquête spontanée ou d'autres approches où vous ne connaissez pas l'identité du contributeur, vous devrez le valider dans le cadre de l'étude. Fais attention à ne pas demander des informations personnelles sensibles.

Collecte des données

Même lorsque des mesures préventives ont été prises pour empêcher les contributeurs imposteurs de passer, il est toujours bon d'élaborer un plan test non-modéré pour identifier rapidement les réponses non valides :

Validation de l'identité. Demander aux contributeurs de valider ou de développer leurs qualifications au début du test est une bonne pratique. Se concentrer sur des sujets spécifiques à un secteur ou à un produit qui ne sont pas faciles à trouver en ligne est un excellent moyen d'identifier rapidement les réponses frauduleuses.
Capture vidéo. Saisir les indices visuels qui signalent que quelqu'un déforme son identité ou ses expériences peut également être utile. Activer la vue contributeur pour capturer la réaction de quelqu'un lorsqu'il donne son avis vous sera utile. Certains imposteurs sont aussi généralement plus réticents à allumer leur caméra : cela permet à UserTesting de traquer plus facilement les imposteurs en série.
Sessions modérées. Les contributeurs imposteurs peuvent être plus faciles à repérer pendant les sessions animées en direct ou les interviews, mais s'extraire de la conversation peut être inconfortable lorsque quelque chose ne va pas. Recherchez les signaux suivants :
- Une tendance à décrocher plus qu'un contributeur typique.
- De faux problèmes de connectivité
- Se contredisent parfois
- Semblent lire un contenu plutôt que de partager leurs pensées.
- Plusieurs fenêtres semblent être ouvertes sur l'ordinateur.

Si vous avez des doutes sur la validité des réponses d'un contributeur après l'avoir interrogé, vous devez poliment vous retirer de la conversation. Indiquez simplement que vous pensez qu'il y a eu un décalage avec la personne avec laquelle vous souhaitiez parler, remerciez-la pour son temps et signalez immédiatement la séance à UserTesting (voir Analyse des avis pour plus de détails).

Analyse des avis

La dernière façon d'identifier les contributeurs imposteurs est à l'occasion de la phase d'analyse. Ici, vous recherchez des signaux indiquant qu'une réponse n'est pas valide :

Passez en revue les indices visuels et les réponses aux questions de validation au début du test.
Vous pouvez aussi noter que certaines réponses sont particulièrement brèves, manquent de profondeur et de détails, ou comportent un nombre anormalement élevé de pauses.
Les réponses à plusieurs questions peuvent être incohérentes en termes de détails chronologiques.
Bien qu'il soit difficile d'identifier une valeur aberrante avec un échantillon de petite taille, un scepticisme sain est justifié si l'une des réponses est complètement différente des autres perspectives exprimées, surtout en conjonction avec certains des autres signaux mentionnés précédemment (par exemple, la brièveté).

Traiter les activités suspectes

N'oubliez pas de noter les contributeurs qui fournissent de mauvais avis pour les études modérées et non modérées. Nous examinons manuellement toutes les sessions notées 1 et 2-star.
Vous pouvez également signaler un problème pour toute séance qui n'a pas répondu à vos attentes et indiquer si le contributeur n'a pas suivi les instructions, si elles n'étaient pas claires, si l'avis était insuffisant, si ChatGPT a été utilisé pour générer une réponse, si les données démographiques ne correspondaient pas, etc. Nous prenons ces avis au sérieux et nous travaillerons avec vous pour remédier à la situation. Nous enquêtons également sur les contributeurs et les supprimerons du réseau s'ils ont violé l'une des conditions de service ou le code de conduite qu' ils ont accepté lors de leur inscription.

Séances d'évaluation

Avec UserTesting, vous pouvez évaluer des sessions individuelles. Les sessions notées une ou deux étoiles sont toujours examinées par notre équipe de spécialistes. L'ajout d'une raison pour une mauvaise évaluation est utile à l'équipe qui examine la séance, pour lui permettre de savoir ce qu'il faut rechercher. Les contributeurs mal notés ont moins de chances de recevoir des invitations à des tests. Inversement, donner des avis positifs aux bons contributeurs les aidera à continuer à recevoir des tests dans leur tableau de bord – ce qui est encouragé.

Signaler un problème

Outre l'évaluation du contributeur, vous pouvez signaler un problème en sélectionnant le bouton Actions à côté de la séance.

Cet avis est également envoyé à notre équipe Support pour l'aider à résoudre les problèmes que vous pourriez rencontrer. S'il s'avère que le contributeur a enfreint l'une des conditions de service ou le code de conduite, nous supprimerons le contributeur et remplirons à nouveau cette séance dans la mesure du possible, ou sinon, nous rembourserons la séance.

La qualité de notre réseau est de la plus haute importance et nous en sommes incroyablement fiers. Nous visons à ce qu'il en soit ainsi et nous continuerons à investir dans des solutions qui nous permettent de tenir cette promesse.

Contacter le Support

Enfin, vous pouvez vous adresser au Support pour vous aider à résoudre les problèmes que vous rencontrez avec les contributeurs qui fournissent des commentaires non valides. La disponibilité des canaux de Support (chat en ligne, email, et téléphone) dépend de votre abonnement.

Contenu connexe

Tu veux en savoir plus ? Jettez un coup d'œil à ces articles de Ressources...

Vous préférez une courte vidéo ? Jettez un coup d'œil à nos cours sur University.

Merci de nous donner votre avis sur cet article. Vos commentaires serviront à améliorer l’article. Cela ne devrait pas vous prendre plus de 5 minutes. Vos commentaires resteront totalement confidentiels, sauf si vous demandez un suivi.