Table of Contents
Quelque part entre 5 % et 25 % des réponses à ton enquête ne valent rien. Les bots, les spécialistes du remplissage rapide et les humains qui regardent Netflix avec ton enquête ouverte dans un deuxième onglet laissent tous le même résidu dans ton jeu de données : des réponses qui ressemblent à des données mais qui ne veulent rien dire. Les contrôles d'attention permettent de les repérer.
Mais les contrôles d'attention sont faciles à mal rédiger. Une question piège qui accroche des répondants honnêtes mais fatigués ne nettoie pas tes données ; elle supprime de bonnes réponses et engendre de la frustration. Ce guide explique comment rédiger des contrôles qui séparent l'inattention de l'imperfection, combien en utiliser et quoi faire quand quelqu'un échoue. Si tu veux des contrôles prêts à l'emploi, le générateur de contrôles d'attention en propose plus de 20 à copier directement. Pour savoir pourquoi les contrôles d'attention comptent autant, consulte l'importance des contrôles d'attention dans la recherche par enquête.
Les quatre types de contrôles d'attention efficaces
1. Les éléments à réponse guidée
Le grand classique. Une question qui indique exactement au répondant ce qu'il doit faire :
« Pour montrer que tu lis attentivement, sélectionne 'Plutôt pas d'accord' pour cet élément. »
Toute personne qui répond honnêtement réussit en deux secondes. Toute personne qui coche toujours la même case ou utilise un bot échoue. Formate-le exactement comme les éléments d'échelle environnants pour qu'il ne se distingue pas visuellement ; le but est que seuls les lecteurs le remarquent.
2. Les paires de cohérence
Pose la même question deux fois, formulée différemment, à distance :
Au début de l'enquête : « J'aime travailler en équipe. »
Plus tard : « Je préfère travailler seul. »
Un répondant tout à fait d'accord avec les deux ne lit pas. Les paires de cohérence peuvent aussi servir d'éléments inversés dans une échelle à plusieurs éléments, de sorte que tu peux souvent obtenir ce contrôle gratuitement à partir d'un instrument bien conçu. Laisse une marge de manœuvre dans le comptage des points ; être légèrement d'accord avec les deux est humain, être tout à fait d'accord avec les deux est un signal d'alerte.
3. Les éléments factices
Des affirmations qui n'ont qu'une seule vraie réponse pour tout le monde :
« Je n'ai jamais utilisé Internet. » (Tu réponds à une enquête en ligne.)
« J'ai visité tous les pays du monde. »
Garde les éléments factices littéralement impossibles plutôt que simplement peu probables, et évite tout ce qu'un locuteur non natif pourrait mal lire. L'objectif est d'attraper les clics au hasard, pas les lacunes de vocabulaire.
4. Les micro-contrôles ouverts
Une courte question en texte libre avec une réponse vérifiable :
« En une phrase, quel était le scénario que tu viens de lire ? »
Ce sont les détecteurs de bots les plus puissants que tu peux rédiger toi-même, car générer une phrase pertinente nécessite de traiter réellement le contenu. Ils repèrent aussi mieux les réponses assistées par IA que les contrôles à choix multiples ; plus de détails dans l'article sur la détection des réponses d'enquête générées par IA.
Les contrôles qui punissent les répondants honnêtes
Évite les questions de culture générale (« de quelle couleur était la troisième image ? »), les tests de mémoire déguisés en contrôles d'attention et les instructions enfouies dans de longs paragraphes que personne n'a demandé de mémoriser. Si un répondant attentif lisant à une vitesse normale peut échouer, c'est un mauvais contrôle. Tu cherches un niveau d'attention minimum, pas un plafond.
Combien de contrôles, et où les placer
Le juste milieu appuyé par des preuves pour une enquête typique de 10 à 20 minutes est de deux à trois contrôles, espacés :
Plan de placement des contrôles d'attention
| Durée de l'enquête | Contrôles | Emplacement |
|---|---|---|
| Moins de 5 minutes | 1 | Au milieu |
| De 5 à 15 minutes | 2 | Au tiers et aux deux tiers du parcours |
| 15 minutes et plus | 3 | Répartis équitablement, aucun dans la première minute |
Ne place jamais de contrôle dans les premières questions (l'attention y est naturellement élevée ; tu n'apprends rien) et évite de superposer deux contrôles (échouer aux deux est un seul événement, pas deux). Mélange les types : une réponse guidée plus une paire de cohérence couvrent plus de modes d'échec que deux réponses guidées.
Décider de la politique d'échec avant le travail de terrain
Les politiques les plus équitables sont simples et préenregistrées :
- Un échec : signaler la réponse, la conserver, l'examiner lors du nettoyage aux côtés d'autres signaux (vitesse, réponses uniformes).
- Deux échecs ou plus : exclure, et indiquer le nombre d'exclusions dans la rédaction finale.
- Ne jamais supprimer silencieusement et ne jamais décider du seuil après avoir vu les résultats. Choisir une règle d'exclusion qui améliore tes résultats est du p-hacking avec des étapes supplémentaires.
La vitesse est le signal complémentaire naturel. Une réponse réalisée en un tiers du temps de complétion médian avec un contrôle échoué constitue un cas d'exclusion bien plus solide que chacun de ces signaux pris isolément. Les contrôles de temps et la détection des doublons sont également le genre de choses qui doivent s'exécuter automatiquement ; c'est le rôle de SurveySwap Protect, conçu pour écarter les bots, les doublons et les réponses à faible effort avant qu'ils n'atteignent ton jeu de données.
Ce que les chercheurs repèrent habituellement
La qualité de l'échantillon change tout
Les taux d'échec aux contrôles d'attention en disent autant sur ton échantillon que sur ton enquête. Les liens anonymes sur les réseaux sociaux échouent à des multiples du taux observé sur les panels engagés, car l'incitation à répondre rapidement est plus forte et la responsabilité est nulle. Les échantillons basés sur la réciprocité se situent du côté favorable : sur l'échange de SurveySwap, les répondants sont eux-mêmes des chercheurs qui ont besoin que leurs propres données soient prises au sérieux, ce qui change la façon dont ils traitent les tiennes.
Foire aux questions
Qu'est-ce qu'un bon contrôle d'attention pour une enquête ?
Un élément à réponse guidée (« sélectionne 'D'accord' pour cette question ») formaté comme les questions environnantes constitue le choix par défaut fiable. Associe-le à un contrôle de cohérence ou un micro-contrôle ouvert pour une couverture plus large. Le générateur de contrôles d'attention propose des exemples à copier pour chaque type.
Combien de contrôles d'attention une enquête doit-elle contenir ?
Deux à trois pour une enquête typique, répartis au milieu du parcours. Un seul suffit en dessous de cinq minutes. Plus de trois ajoute de la fatigue chez le répondant plus vite que cela n'améliore la détection.
Faut-il informer les répondants de la présence de contrôles d'attention ?
Une courte note indiquant que l'enquête contient des contrôles de qualité est équitable, améliore légèrement l'attention et n'aide pas les tricheurs, puisqu'ils doivent toujours trouver les contrôles. Ne révèle pas où ils se trouvent ni en quoi ils consistent.
Peut-on rejeter les participants qui échouent à un seul contrôle d'attention ?
La meilleure pratique consiste à signaler à partir d'un échec et à exclure à partir de deux ou plus, en combinant cela avec d'autres signaux de qualité comme la vitesse de complétion. Quelle que soit la règle choisie, définis-la avant la collecte des données et mentionne-la dans ton rapport.
Les contrôles d'attention sont un outil parmi d'autres. Parcours la collection complète d'outils de recherche gratuits.