Table of Contents
Para uma estratégia completa, consulta também o guia de dados de alta qualidade e as verificações de qualificação.
As ferramentas de IA generativa facilitaram a produção de respostas abertas longas em poucos segundos. Isso não significa que um texto bem escrito tenha sido gerado por IA, nem que todos os conjuntos de dados estejam contaminados. Significa apenas que a origem de uma resposta já não pode ser avaliada pelo estilo, isoladamente.
Este guia reúne sinais que podem justificar uma revisão, um processo manual para estudos pequenos e formas de combinar verificações em projetos maiores. Complementa o nosso guia sobre respostas de inquérito com IA, que explica por que motivo respostas sintéticas não substituem participantes reais.
Por que motivo alguém usa IA num inquérito
Compreender o contexto ajuda a escolher verificações proporcionais. Há três situações frequentes:
- Participantes focados no incentivo. Algumas pessoas tentam concluir o maior número possível de inquéritos e usam IA para acelerar respostas abertas.
- Automação em escala. Scripts podem preencher várias submissões para obter incentivos. Costumam deixar sinais em dispositivos, tempos e padrões repetidos.
- Participantes cansados. Uma pessoa real pode recorrer a um chatbot quando encontra uma resposta obrigatória demasiado longa. As respostas fechadas podem ser autênticas, mas o texto aberto não.
O terceiro caso mostra que o problema não é apenas fraude. Um inquérito que respeita o tempo das pessoas, com menos textos obrigatórios e instruções proporcionais, reduz o incentivo para procurar atalhos.
Sinais nas respostas abertas
Nenhum sinal textual é uma prova. Usa o texto apenas em conjunto com outros indicadores.
- Texto genérico sem detalhes verificáveis. A resposta repete ideias amplas, mas não inclui exemplos ligados à pergunta.
- Formulações semelhantes às de um assistente. Expressões como “é importante notar” ou “em conclusão” podem justificar revisão, mas também aparecem em escrita humana formal.
- Repetição da pergunta. A resposta começa por reformular todo o enunciado sem acrescentar conteúdo.
- Comprimento e estrutura muito uniformes. Várias respostas abertas têm exatamente o mesmo ritmo e extensão.
- Pouca ligação à experiência relatada. Faltam detalhes concretos quando a pergunta os pede explicitamente.
- Frases repetidas entre submissões. Sequências raras e idênticas em várias respostas podem indicar uma origem comum, embora seja necessário excluir texto copiado do próprio questionário.
Exemplo de uma resposta que merece revisão
Pergunta: “O que quase te impediu de comprar?” Uma resposta concreta pode mencionar o custo de envio, o produto e a situação. Uma resposta longa que apenas reformula a pergunta merece revisão, mas não deve ser excluída só por estar bem escrita.
Os sinais fora do texto
As pistas no texto são o primeiro sítio onde deves procurar, mas os metadados costumam fornecer evidência mais forte:
Sinais não textuais de resposta assistida por IA
| Sinal | O que procurar |
|---|---|
| Duração total | Uma resposta longa submetida num tempo incompatível com a leitura e a escrita |
| Tempo por página | Uma resposta de 150 palavras introduzida após poucos segundos na página |
| Colagem de texto | Um bloco longo inserido de uma só vez; lembra-te de que isto também pode resultar de tecnologia assistiva ou de escrita noutro editor |
| Verificações de atenção | Itens de resposta instruída com falha ao lado de ensaios eloquentes |
| Duplicados | O mesmo dispositivo ou padrão de rede associado a várias submissões, respeitando as regras de privacidade aplicáveis |
| Coerência da resposta | Elogios abertos a um recurso que os fechados disseram nunca ter usado |
Quanto mais sinais independentes apontarem na mesma direção, mais forte é o motivo para rever a resposta. Mesmo assim, tecnologia assistiva, proficiência linguística, dispositivos partilhados e problemas de acessibilidade podem oferecer explicações legítimas.
Um fluxo de trabalho de detecção manual para pequenos estudos
Para um conjunto de dados do tamanho de uma tese (algumas centenas de respostas), uma tarde de limpeza estruturada é suficiente:
- Ordena por duração. Revê os casos muito rápidos em relação à duração habitual do próprio inquérito; não uses um limite universal.
- Avalia as verificações de atenção. Consulta como escrever verificações de atenção e interpreta cada falha no contexto. Uma pergunta curta ligada ao conteúdo pode ser útil, mas não é “resistente à IA” nem prova fraude.
- Lê as respostas abertas em conjunto. Padrões repetidos tornam-se mais visíveis quando comparas várias submissões.
- Verifica a coerência. Compara o texto aberto com as respostas fechadas e com a ordem temporal dos eventos.
- Aplica uma regra predefinida. Define antes da análise quantos sinais independentes justificam revisão ou exclusão e faz uma análise de sensibilidade quando a decisão puder alterar os resultados.
Documenta tudo: os sinais usados, os limites, o número de respostas revistas e excluídas e a análise de sensibilidade. Essa transparência permite que outras pessoas avaliem a decisão.
Não terceirize o julgamento para detectores de IA
Os detectores de texto de IA públicos têm taxas reais de falsos positivos e sinalizam desproporcionalmente escritores de inglês não nativos. Usa-os, no máximo, como um sinal fraco entre vários, nunca como o único motivo para descartar uma resposta.
Quando automatizar
A revisão manual torna-se difícil quando há centenas de respostas e só acontece depois de os dados problemáticos já terem sido recolhidos. Em estudos maiores ou contínuos, combina tempos de resposta, deteção de duplicados e análise assistida de respostas abertas. Esta é a abordagem do SurveySwap Protect: reunir vários sinais antes da exportação para que a limpeza seja uma revisão fundamentada, e não uma tentativa tardia de reconstruir o que aconteceu.
A prevenção também depende da amostra. Links públicos sem qualquer controlo podem atrair submissões fora do público-alvo. Um recrutamento com critérios claros, como a troca gratuita de inquéritos, pode reduzir alguns riscos, mas não elimina respostas assistidas por IA nem dispensa verificações de qualidade.
Perguntas frequentes
Quão comuns são as respostas de inquéritos geradas por IA?
Não existe uma taxa universal. A frequência depende da plataforma, dos incentivos, do tema, do comprimento das respostas e das verificações usadas. Planeia um processo de revisão sem assumir uma percentagem que não mediste.
O software pode detectar com segurança texto escrito por IA?
Não por si só. Os detetores de texto produzem falsos positivos e podem penalizar injustamente quem escreve numa segunda língua. Combina sinais textuais com duração, colagem, coerência, verificações de atenção e duplicados.
Qual é a melhor defesa contra respostas de IA?
Um desenho que não incentive atalhos, aliado a recrutamento adequado e vários sinais independentes. Perguntas ligadas ao conteúdo podem ajudar, mas nenhuma defesa isolada é infalível.
Devo excluir respostas suspeitas?
Exclui apenas segundo uma regra definida antes da análise, sustentada por vários sinais independentes, e comunica as exclusões. Decidir com base na intuição depois de veres os resultados também introduz viés.
Todas as ferramentas de qualidade mencionadas aqui estão na coleção ferramentas de inquérito gratuitas.