Table of Contents
Integrar estos controles en la guía de datos de encuesta de alta calidad, aprender a detectar respuestas generadas por IA y entender por qué las respuestas con IA no constituyen una muestra calificada.
Los controles de calificación comprueban si las características declaradas por una persona coinciden con los criterios de inclusión del estudio. Reducen las respuestas ajenas al público objetivo, pero no demuestran la identidad ni garantizan por sí solos datos fiables. Funcionan mejor cuando defines los criterios antes de recopilar respuestas y los combinas con un cuestionario claro y otros controles de calidad.
No existe un porcentaje universal de respuestas inadecuadas. El riesgo depende de la fuente de reclutamiento, el incentivo, el público y el diseño del estudio. Mide la tasa en tu propio proyecto y documenta las reglas de inclusión y exclusión.
Importancia de las comprobaciones de cualificación en la investigación por encuestas
La elegibilidad debe derivarse directamente de la pregunta de investigación. Si el estudio trata sobre estudiantes de medicina de Estados Unidos, por ejemplo, su condición de estudiantes, el país y el periodo relevante forman parte de los criterios. Los controles ayudan a aplicar esas reglas de manera uniforme, aunque a menudo se basan en datos declarados por el propio participante y deben interpretarse como indicios, no como pruebas absolutas.
Piensa en este escenario:
Estás realizando una encuesta sobre las actitudes de los estudiantes de medicina de Estados Unidos ante la pandemia de COVID-19 y su efecto en el rendimiento académico. Como incentivo, ofreces a cada participante una entrada en el sorteo de una suscripción a un gimnasio.
Motivados por tu recompensa, los siguientes candidatos participan en tu encuesta:
- Un estudiante de medicina de último año de Phoenix, Arizona.
- Un estudiante de medicina de tercer año de Dallas, Texas.
- Un estudiante de secundaria de 16 años de Alemania.
- Un futuro estudiante de medicina de Fort Worth, Texas.
- Un estudiante de medicina de último año de Cleveland, Ohio.
El estudiante de secundaria no pertenece a la población estudiada. El futuro estudiante de medicina tampoco vivió la experiencia sobre la que pregunta el estudio. Con cinco personas es fácil detectarlo manualmente; con doscientas, conviene aplicar los mismos criterios a todo el mundo antes de iniciar el cuestionario principal.
Ahí entra el filtro de calificación.
Diferentes tipos de comprobaciones de calificación
Hay dos enfoques útiles: un breve embudo de elegibilidad y preguntas específicas del público. No necesitas ambos en todos los estudios. Utiliza solo controles relacionados con criterios reales y evita recopilar datos personales innecesarios.
1. Embudos de calificación
Un embudo de calificación presenta unas pocas preguntas para determinar la elegibilidad. El número de opciones depende de la variable: un país puede requerir una lista, mientras que una condición binaria solo necesita dos o tres respuestas. Define de antemano qué combinaciones permiten continuar y ofrece una salida respetuosa a quien no cumpla los criterios.
EJEMPLO
Está buscando estudiantes de marketing holandeses para responder tu encuesta. Plantee las siguientes preguntas:
Pregunta 1: ¿En qué país reside?
_ Opciones de respuesta: _
- Estados Unidos de América
- Reino Unido
- Alemania
- Países Bajos
- Bélgica
- Francia
- Hungría
- Italia
- Rumania
- Sudáfrica
- Namibia
- India
_ Pregunta 2: ¿Cuál de los siguientes idiomas es tu lengua materna?_
_ Opciones de respuesta: _
- inglés
- italiano
- español
- mandarín
- Hindi
- alemán
- holandés
- Afrikáans
- portugués
- suajili
- japonés
- árabe
_ Pregunta 3: ¿Cuál de las siguientes es tu área de estudio?_
_ Opciones de respuesta: _
- Ciencias de la Computación
- Ingeniería
- Educación
- Administración de Empresas
- Mercadotecnia
- Economía
- Lingüística
- Sociología
- Biología
- Ciencias Ambientales
- Nutrición y Dietética
- Psicología
PRECAUCIONES ADICIONALES
- Asegúrate de que los encuestados no puedan adivinar cuáles son las respuestas correctas a partir del título de tu encuesta. Por ejemplo, no uses el título "Encuesta para trabajadores sanitarios holandeses", ya que esto podría llevarte a detectar malos actores, frustrando el propósito de tu embudo de calificación.
- Aleatoriza la posición de tus opciones de respuesta correcta para evitar que los encuestados adivinen la respuesta correcta basándose en respuestas anteriores. Por ejemplo, si la respuesta correcta de la Pregunta 1 es '4', la respuesta correcta de la Pregunta 2 es '7', la respuesta correcta de la Pregunta 3 es '5', y así sucesivamente.
- Si es posible, también aleatoriza lo que representan tus opciones de respuesta (por ejemplo, 'A', 'B' y 'C') para cada participante que responda tu encuesta. Algunos creadores de encuestas te permiten aleatorizar tus opciones por pregunta, de modo que tus respuestas se muestren en un orden diferente para cada encuestado.
2. Preguntas específicas de muestra
Las preguntas específicas de muestra son preguntas diseñadas para evaluar el conocimiento o las características de un participante que son específicas de la audiencia objetivo de tu encuesta. La respuesta correcta a la pregunta suele ser muy obvia para un encuestado que pertenece a tu público objetivo, pero no tanto para alguien que no pertenece a este grupo. Los encuestados que obtengan estas respuestas incorrectas no califican para participar en tu encuesta y deben ser excluidos de tu conjunto de datos.
EJEMPLO
Estás buscando usuarios frecuentes de Facebook para responder tu encuesta. Plantee las siguientes preguntas:
_ Pregunta 1: ¿Cuál de las siguientes acciones no se puede realizar en Facebook?_
_ Opciones de respuesta: _
- Me gusta
- Compartir
- Comentar
- Ping
- Reaccionar
- Seguir
- No amigo
- Buscar
- Guardar
- Informe
- Publicar
- Etiqueta
_ Pregunta 2: ¿Cómo se llama la aplicación de mensajería de Facebook?_
_ Opciones de respuesta: _
- Facebook Messenger
- Hilos
- Chats de Facebook
- Chatbox
- Mensaje instantáneo
- DM
- Bandeja de entrada
- El Centro
- flojo
- Ping
- La sala de chat
_ Pregunta 3: ¿Dónde venderías un artículo en Facebook?_
_ Opciones de respuesta: _
- Tienda de Facebook
- El Grupo
- Mercado
- META
- Comprar y vender
- Tienda
- Yaga
- El Intercambio
- Gumtree
- Amazonas
- Zuckersell
- Compra en Facebook
PRECAUCIONES ADICIONALES
- Aleatoriza la posición de tus opciones de respuesta correcta para evitar que los encuestados adivinen la respuesta correcta basándose en respuestas anteriores. Por ejemplo, si la respuesta correcta de la Pregunta 1 es "4", la respuesta correcta de la Pregunta 2 es "7", la respuesta correcta de la Pregunta 3 es "5", y así sucesivamente.
- Si es posible, también aleatoriza lo que representan tus opciones de respuesta (por ejemplo, 'A', 'B' y 'C') para cada participante que responda tu encuesta. Algunos creadores de encuestas te permiten aleatorizar tus opciones por pregunta, de modo que tus respuestas se muestren en un orden diferente para cada encuestado.
- Ten cuidado con los conocimientos que supone que tiene tu público objetivo. Si bien los usuarios frecuentes de Facebook pueden saber qué hace el botón 'Compartir', es posible que no todos sepan cuál es el número máximo de caracteres cuando se crea una publicación. Nuevamente, la respuesta correcta debería ser bastante obvia para el público objetivo.
Verificación de calificación BONIFICADA
Si estás creando tu encuesta con el creador de encuestas de Qualtrics, definitivamente deberías agregar la verificación CAPTCHA para mantener a raya a esos robots. Al agregar una nueva pregunta a tu encuesta, simplemente elige "verificación CAPTCHA" como tipo de pregunta. Esto requerirá que todos los encuestados sean verificados para poder continuar con la encuesta y mantener a raya a los robots de encuestas.
Pensamientos finales
Los controles de calificación hacen más coherentes los criterios de inclusión y reducen algunas respuestas ajenas al público objetivo. Defínelos antes de recopilar datos, pruébalos con personas reales y documenta las exclusiones. La calidad final también depende del muestreo, el cuestionario y el análisis.
P. D. Es más fácil prevenir problemas que intentar corregirlos al final. Pide ayuda para planificar la recopilación de datos.
Preguntas frecuentes
1. ¿Qué son las comprobaciones de cualificación en la investigación por encuestas?
Son preguntas o reglas que comparan las características declaradas por el participante con los criterios de inclusión del estudio. Ayudan a reducir respuestas ajenas al público objetivo, pero no garantizan identidad ni sinceridad.
2. ¿Qué tipos de comprobaciones de cualificación se utilizan habitualmente?
A menudo se emplean dos tipos principales de comprobaciones de cualificación: embudos de cualificación y preguntas específicas de muestra. Los embudos de calificación implican preguntas de opción múltiple con una sola respuesta correcta, que evalúan la elegibilidad en función de criterios específicos. Las preguntas específicas de muestra se dirigen a los conocimientos o características de los encuestados relevantes para el público objetivo de la encuesta.
3. ¿Cómo funcionan los embudos de cualificación?
Los embudos de calificación suelen consistir en preguntas de opción múltiple diseñadas para verificar la elegibilidad de los encuestados para participar en una encuesta. Estas preguntas tienen una única respuesta correcta entre varias opciones. Los encuestados que respondan correctamente todas las preguntas del embudo de calificación se consideran elegibles para seguir participando en la encuesta.
5. ¿Cuáles son las preguntas específicas de muestra?
Las preguntas específicas de muestra evalúan el conocimiento o las características específicas de los encuestados del público objetivo de la encuesta. Las respuestas correctas a estas preguntas suelen ser obvias para el público objetivo, pero puede resultar difícil para otros responderlas correctamente. Los encuestados que no respondan estas preguntas con precisión quedan excluidos del conjunto de datos.