Table of Contents
Algures entre 5% e 25% das respostas do teu inquérito não têm qualquer valor. Bots, participantes focados em terminar à pressa e pessoas a ver Netflix com o teu inquérito num segundo separador deixam o mesmo resíduo no teu conjunto de dados: respostas que parecem dados reais, mas não significam nada. As verificações de atenção são a forma de os encontrar.
Contudo, é fácil escrever mal uma verificação de atenção. Uma pergunta com rasteira que apanha participantes honestos, mas cansados, não limpa os teus dados; apenas elimina boas respostas e gera frustração. Este guia cobre como escrever verificações que separam a falta de atenção da imperfeição, quantas deves usar e o que fazer quando alguém falha. Se queres verificações prontas a usar, o gerador de verificações de atenção tem mais de 20 exemplos que podes copiar diretamente. Para compreender por que razão as verificações de atenção são realmente importantes, consulta a importância das verificações de atenção na investigação por inquéritos.
Os quatro tipos de verificação de atenção que funcionam
1. Itens de resposta instruída
O clássico. Uma pergunta que diz exatamente ao participante o que fazer:
"Para mostrar que estás a ler com atenção, por favor seleciona 'Discordo parcialmente' neste item."
Qualquer pessoa a responder com honestidade passa em dois segundos. Qualquer pessoa a responder na mesma linha sequencial ou a usar bots falha. Formata a pergunta exatamente como os restantes itens da escala para que não se destaque visualmente; o objetivo é que apenas quem estiver a ler a note.
2. Pares de consistência
Pergunta a mesma coisa duas vezes, com formulações diferentes e alguma distância entre elas:
No início do inquérito: "Gosto de trabalhar em equipa."
Mais tarde: "Prefiro trabalhar a sós."
Um participante que concorde fortemente com ambas as afirmações não está a ler. Os pares de consistência funcionam também como itens codificados de forma invertida numa escala de múltiplos itens, pelo que podes frequentemente obter esta verificação gratuitamente a partir de um instrumento bem concebido. Permite alguma margem de manobra na pontuação; concordar ligeiramente com ambas é humano, concordar fortemente com ambas é um sinal de alerta.
3. Itens falsos
Afirmações que têm uma única resposta verdadeira para todas as pessoas:
"Nunca utilizei a internet." (Estás a responder a um inquérito online.)
"Já visitei todos os países do mundo."
Mantém os itens falsos literalmente impossíveis em vez de apenas improváveis e evita qualquer frase que alguém que não seja falante nativo possa interpretar mal. O objetivo é apanhar cliques aleatórios, não lacunas de vocabulário.
4. Microverificações de resposta aberta
Uma pergunta curta de texto livre com uma resposta verificável:
"Numa frase, qual era o cenário sobre o qual acabaste de ler?"
Estes são os detetores de bots mais fortes que podes escrever por ti mesmo, porque gerar uma frase relevante exige processar efetivamente o conteúdo. Além disso, detetam respostas geradas por inteligência artificial melhor do que as verificações de escolha múltipla; descobre mais em como detetar respostas a inquéritos geradas por IA.
Verificações que punem participantes honestos
Evita perguntas de cultura geral ("qual era a cor da terceira imagem?"), testes de memória disfarçados de verificações de atenção e instruções escondidas dentro de parágrafos longos que ninguém pediu para memorizar. Se um participante atento a ler a uma velocidade normal pode falhar a verificação, trata-se de uma má verificação. Pretendes estabelecer um limite mínimo de atenção, não um teto.
Quantas verificações usar e onde as colocar
A quantidade ideal suportada por evidências para um inquérito típico de 10 a 20 minutos é de duas a três verificações, espaçadas entre si:
Plano de colocação de verificações de atenção
| Duração do inquérito | Verificações | Colocação |
|---|---|---|
| Menos de 5 minutos | 1 | No meio |
| De 5 a 15 minutos | 2 | A um terço e a dois terços do percurso |
| Mais de 15 minutos | 3 | Distribuídas uniformemente, nenhuma no primeiro minuto |
Nunca coloques uma verificação nas primeiras perguntas (a atenção é naturalmente elevada aí; não aprendes nada) e evita juntar duas verificações seguidas (falhar ambas é um único evento, não dois). Mistura tipos: uma resposta instruída combinada com um par de consistência cobre mais modos de falha do que duas respostas instruídas.
Define a tua política de falha antes do trabalho de campo
As políticas mais justas são simples e pré-registadas:
- Uma falha: sinaliza a resposta, mantém-na e examina-a durante a limpeza juntamente com outros sinais (velocidade, respostas em linha reta).
- Duas ou mais falhas: exclui e reporta o número de exclusões na tua redação final.
- Nunca elimines dados silenciosamente e nunca decidas o limite após ver os resultados. Escolher uma regra de exclusão que melhore os teus resultados é p-hacking com etapas extra.
A velocidade é o sinal complementar natural. Uma resposta concluída num terço do tempo médio com uma verificação falhada é um caso de exclusão muito mais forte do que qualquer um dos sinais isoladamente. A verificação de tempos e a deteção de duplicados são também exatamente o tipo de tarefa que deve ser executada automaticamente; esse é o papel do SurveySwap Protect, criado para filtrar bots, duplicados e respostas de baixo esforço antes que cheguem ao teu conjunto de dados.
O que os investigadores costumam apanhar
A qualidade da amostra muda tudo
As taxas de falha nas verificações de atenção são tanto um facto sobre a tua amostra como sobre o teu inquérito. Links anónimos em redes sociais falham a múltiplos da taxa de painéis envolvidos, porque o incentivo para acelerar é maior e a responsabilidade é nula. Amostras baseadas na reciprocidade situam-se no lado favorável: na troca de inquéritos do SurveySwap, os participantes são os próprios investigadores que precisam que os seus dados sejam levados a sério, o que altera a forma como tratam os teus.
Perguntas frequentes
O que é uma boa verificação de atenção para um inquérito?
Um item de resposta instruída ("por favor seleciona 'Concordo' para esta pergunta") formatado como as perguntas ao redor é a opção padrão e fiável. Combina-o com uma verificação de consistência ou uma microverificação de resposta aberta para uma cobertura mais ampla. O gerador de verificações de atenção tem exemplos copiáveis de cada tipo.
Quantas verificações de atenção deve ter um inquérito?
De duas a três para um inquérito típico, espaçadas ao longo do meio. Uma é suficiente para inquéritos de menos de cinco minutos. Mais de três adiciona fadiga ao participante mais depressa do que adiciona deteção.
Devo avisar os participantes de que existem verificações de atenção?
Uma breve nota a informar que o inquérito contém verificações de qualidade é justa, melhora ligeiramente a atenção e não ajuda quem tenta enganar o sistema, pois essas pessoas ainda terão de encontrar as verificações. Não meções onde estão nem em que consistem.
Posso rejeitar participantes que falhem uma verificação de atenção?
A boa prática é sinalizar com uma falha e excluir com duas ou mais, em combinação com outros sinais de qualidade, como a velocidade de conclusão. Seja qual for a regra escolhida, define-a antes da recolha de dados e reporta-a.
As verificações de atenção são apenas uma ferramenta entre várias. Explora a coleção completa de ferramentas de investigação gratuitas.