Table of Contents
Tra il 5% e il 25% delle risposte al tuo sondaggio non vale nulla. Bot, compilatori seriali professionisti e persone che guardano Netflix mentre compilano il tuo sondaggio in un'altra finestra lasciano tutti la stessa traccia nel tuo set di dati: risposte che sembrano dati reali ma che non significano nulla. I controlli dell'attenzione servono proprio a trovarli.
Tuttavia, è facile scrivere male i controlli dell'attenzione. Una domanda a trabocchetto che inganna un partecipante onesto ma stanco non pulisce i tuoi dati; elimina le buone risposte e genera risentimento. Questa guida spiega come scrivere controlli che distinguano la disattenzione dall'imperfezione, quanti usarne e cosa fare quando qualcuno non li supera. Se cerchi opzioni pronte all'uso, il generatore di controlli dell'attenzione ne offre più di 20 che puoi copiare direttamente. Per capire perché i controlli dell'attenzione sono davvero importanti, vedi l'importanza dei controlli dell'attenzione nella ricerca tramite sondaggi.
I quattro tipi di controllo dell'attenzione che funzionano
1. Elementi con risposta guidata
Il grande classico. Una domanda che dice al partecipante esattamente cosa fare:
"Per dimostrare che stai leggendo con attenzione, seleziona 'In parte in disaccordo' per questo elemento."
Chiunque risponda con onestà supera il controllo in due secondi. Chiunque risponda a caso, tracci una linea dritta o usi un bot non lo supera. Strutturalo esattamente come le domande con scala Likert circostanti, in modo che non risalti visivamente; il punto è che solo chi legge davvero deve notarlo.
2. Coppie di coerenza
Fai la stessa domanda due volte, formulata in modo diverso, a una certa distanza:
All'inizio del sondaggio: "Mi piace lavorare in gruppo."
Più avanti: "Preferisco lavorare da solo."
Un partecipante che si dichiara fortemente d'accordo con entrambe le affermazioni non sta leggendo. Le coppie di coerenza fungono anche da elementi a codifica inversa in una scala a più elementi, quindi spesso puoi ottenere questo controllo gratuitamente da uno strumento ben progettato. Lascia un margine di flessibilità nel punteggio; essere lievemente d'accordo con entrambe è umano, essere fortemente d'accordo con entrambe è un segnale d'allarme.
3. Elementi fittizi
Affermazioni che hanno un'unica risposta vera per tutti:
"Non ho mai usato internet." (Mentre si sta compilando un sondaggio online.)
"Ho visitato tutti i paesi del mondo."
Mantieni gli elementi fittizi letteralmente impossibili piuttosto che semplicemente improbabili, ed evita qualsiasi cosa che un madrelingua possa fraintendere. L'obiettivo è catturare i clic casuali, non le lacune nel vocabolario.
4. Micro-controlli a risposta aperta
Una breve domanda a testo libero con una risposta verificabile:
"In una frase, qual era lo scenario che hai appena letto?"
Questi sono i rilevatori di bot più efficaci che puoi scrivere autonomamente, perché generare una frase pertinente richiede di elaborare effettivamente il contenuto. Inoltre, rilevano le risposte generate dall'IA meglio dei controlli a scelta multipla; trovi maggiori dettagli in come rilevare le risposte ai sondaggi generate dall'IA.
Controlli che puniscono i partecipanti onesti
Evita quesiti di cultura generale ("di che colore era la terza immagine?"), test di memoria mascherati da controlli dell'attenzione e istruzioni nascoste in lunghi paragrafi che nessuno ha chiesto di memorizzare. Se un partecipante attento che legge a velocità normale può fallire, è un cattivo controllo. Vuoi stabilire un livello minimo di attenzione, non fissare un soffitto.
Quanti controlli usare e dove posizionarli
La combinazione ottimale supportata dalle evidenze per un tipico sondaggio da 10 a 20 minuti prevede da due a tre controlli, ben distanziati:
Piano di posizionamento dei controlli dell'attenzione
| Lunghezza del sondaggio | Controlli | Posizionamento |
|---|---|---|
| Sotto i 5 minuti | 1 | A metà |
| Da 5 a 15 minuti | 2 | A un terzo e a due terzi del percorso |
| Oltre 15 minuti | 3 | Distribuiti in modo uniforme, nessuno nel primo minuto |
Non inserire mai un controllo nelle prime domande (l'attenzione è naturalmente alta lì, quindi non impareresti nulla) ed evita di accumulare due controlli vicini (fallirli entrambi costituisce un solo evento, non due). Alterna i tipi: un elemento con risposta guidata abbinato a una coppia di coerenza copre più modalità di errore rispetto a due elementi con risposta guidata.
Definisci la tua politica di errore prima del lavoro sul campo
Le politiche più eque sono semplici e registrate in anticipo:
- Un errore: segnala la risposta, conservala ed esaminala durante la pulizia dei dati insieme ad altri segnali (velocità, risposte piatte).
- Due o più errori: escludi la risposta e riporta il conteggio delle esclusioni nella tua relazione finale.
- Mai eliminare i dati in modo silenzioso e mai decidere la soglia dopo aver visto i risultati. Scegliere una regola di esclusione che migliori i tuoi risultati equivale a fare p-hacking con passaggi aggiuntivi.
La velocità è il segnale naturale complementare. Una risposta completata in un terzo del tempo medio con un controllo fallito costituisce un motivo di esclusione molto più solido rispetto a ciascun singolo segnale preso da solo. I controlli sui tempi di risposta e il rilevamento dei duplicati sono proprio il tipo di operazioni che dovrebbero svolgersi in modo automatico; questo è il compito di SurveySwap Protect, progettato per filtrare bot, duplicati e risposte a basso sforzo prima che raggiungano il tuo set di dati.
Cosa individuano di solito i ricercatori
La qualità del campione cambia ogni cosa
I tassi di errore nei controlli dell'attenzione dicono molto sia sul tuo campione che sul tuo sondaggio. I link anonimi sui social media falliscono con frequenze che sono multipli rispetto a quelle dei panel attivi, poiché l'incentivo a correre è più alto e la responsabilità è pari a zero. I campioni basati sulla reciprocità si collocano sull'estremità più favorevole: nello scambio di sondaggi di SurveySwap, i partecipanti sono a loro volta ricercatori che hanno bisogno che i propri dati vengano presi sul serio, il che cambia radicalmente il modo in cui trattano i tuoi.
Domande frequenti
Qual è un buon controllo dell'attenzione per un sondaggio?
Un elemento con risposta guidata ("seleziona 'D'accordo' per questa domanda") formattato come le domande circostanti rappresenta la scelta predefinita più affidabile. Centralo insieme a un controllo di coerenza o a un micro-controllo a risposta aperta per una copertura più ampia. Il generatore di controlli dell'attenzione contiene esempi copiabili per ogni tipologia.
Quanti controlli dell'attenzione dovrebbe avere un sondaggio?
Da due a tre per un sondaggio tipico, distribuiti nella parte centrale. Uno è sufficiente per sondaggi sotto i cinque minuti. Inserirne più di tre aumenta la fatica del partecipante più velocemente di quanto aumenti la capacità di rilevamento.
Dovrei informare i partecipanti della presenza di controlli dell'attenzione?
Una breve nota che informa che il sondaggio contiene controlli di qualità è corretta, migliora leggermente l'attenzione e non aiuta chi vuole imbrogliare, dato che deve comunque individuare dove si trovano i controlli. Non rivelare dove sono o in cosa consistono.
Posso rifiutare i partecipanti che falliscono un solo controllo dell'attenzione?
La prassi migliore consiste nel segnalare la risposta dopo un solo errore ed escluderla con due o più errori, combinando la decisione con altri segnali di qualità come la velocità di completamento. Qualsiasi regola tu scelga, stabiliscila prima della raccolta dati e riportala chiaramente.
I controlli dell'attenzione sono solo uno dei tanti strumenti disponibili. Esplora l'intera raccolta di strumenti di ricerca gratuiti.