Datakwaliteit beschermen met kwalificatiechecks

Plaats deze checks in de bredere gids voor hoogwaardige enquêtedata, leer AI-gegenereerde antwoorden herkennen en ontdek waarom AI-enquêteantwoorden geen gekwalificeerde steekproef vormen.

Kwalificatiechecks vergelijken de kenmerken die iemand opgeeft met de vooraf bepaalde inclusiecriteria van je onderzoek. Ze verminderen antwoorden buiten de doelgroep, maar bewijzen geen identiteit en garanderen op zichzelf geen betrouwbare gegevens. Ze werken het best als je de criteria vóór de dataverzameling vastlegt en ze combineert met een heldere vragenlijst en andere kwaliteitssignalen.

Er bestaat geen universeel percentage ongeschikte antwoorden. Het risico hangt af van de wervingsbron, de beloning, de doelgroep en het onderzoeksontwerp. Meet het aandeel binnen je eigen onderzoek en leg de regels voor in- en uitsluiting vooraf vast.

Belang van kwalificatiecontroles bij enquêteonderzoek

De geschiktheid moet rechtstreeks volgen uit je onderzoeksvraag. Gaat het onderzoek bijvoorbeeld over geneeskundestudenten in de Verenigde Staten, dan horen studiestatus, land en relevante periode bij de criteria. De checks passen die regels consequent toe. Omdat ze vaak op zelfrapportage berusten, zijn het aanwijzingen en geen absoluut bewijs van identiteit.

Neem het volgende scenario:

Je voert een onderzoek uit om de houding van medische studenten in de VS ten opzichte van de Covid-19-pandemie te onderzoeken en het effect dat deze had op hun academische prestaties. Als stimulans voor deelname aan de enquête biedt je elke respondent een kans om deel te nemen aan een prijstrekking voor een gratis lidmaatschap van een sportschool.

Gemotiveerd door je beloning nemen de volgende kandidaten allemaal deel aan je enquête:

• Een laatstejaars geneeskundestudent uit Phoenix, Arizona
• Een derdejaars geneeskundestudent uit Dallas, Texas
• Een 16-jarige middelbare scholier uit Duitsland
• Een toekomstige geneeskundestudent uit Fort Worth, Texas
• Een laatstejaars geneeskundestudent uit Cleveland, Ohio

De 16-jarige middelbare scholier uit Duitsland is geen geneeskundestudent en woont niet in de VS, dus je kunt ze er gemakkelijk uitpikken en hun antwoorden negeren bij het sorteren en analyseren van je gegevens. Als je heel voorzichtig zou zijn, zou je ook beseffen dat de aankomende geneeskundestudent uit Fort Worth, omdat hij nog geen geneeskunde had gestudeerd, de gevolgen van de Covid-19-pandemie op zijn academische prestaties niet zou hebben ervaren en daarom ook als respondent buiten beschouwing zou moeten worden gelaten. In een groep van vijf respondenten is het vrij eenvoudig om degenen te herkennen die niet in aanmerking komen voor deelname aan je enquête. In een groep van 200 respondenten zou het echter nogal moeilijk zijn om al je respondenten te doorzoeken om te bepalen wie in aanmerking komt om hun antwoorden in je onderzoek te laten opnemen, en wie niet. Zeker als een van je deelnemers onoprecht zou zijn en zichzelf verkeerd zou voorstellen als laatstejaars geneeskundestudent uit Phoenix...

Start de kwalificatiecheck.

Verschillende soorten kwalificatiecontroles

We gaan dieper in op twee soorten kwalificatiecontroles: kwalificatietrechters en voorbeeldspecifieke vragen. Het is belangrijk om beide soorten kwalificatiecontroles in je enquête op te nemen, om ervoor te zorgen dat je alleen deelnemers screent die daadwerkelijk in aanmerking komen om je enquête te beantwoorden.

1. Kwalificatietrechters

Kwalificatietrechters omvatten het stellen van verschillende meerkeuzevragen om te bepalen of een respondent in aanmerking komt. Ze bieden doorgaans 10 tot 12 antwoordopties, waarvan er maar één waar is. Enquêtedeelnemers die alle vragen uit de kwalificatietrechter correct beantwoorden, komen in aanmerking om je enquête te beantwoorden. Hun gegevens kunnen in je dataset worden opgenomen als zij ook de andere kwaliteitscontroles doorstaan.

VOORBEELD

Je zoekt Nederlandse marketingstudenten om je enquête in te vullen. Stel de volgende vragen:

Vraag 1:  In welk land woont je?

_ Antwoordopties: _

1. Verenigde Staten van Amerika
2. Verenigd Koninkrijk
3. Duitsland
4. Nederland
5. België
6. Frankrijk
7. Hongarije
8. Italië
9. Roemenië
10. Zuid-Afrika
11. Namibië
12. India

_ Vraag 2:  Welke van de volgende talen is je moedertaal?_

_ Antwoordopties: _

1. Engels
2. Italiaans
3. Spaans
4. Mandarijn
5. Hindi
6. Duits
7. Nederlands
8. Afrikaans
9. Portugees
10. Swahili
11. Japans
12. Arabisch

_ Vraag 3:  Welke van de volgende onderwerpen is je studiegebied?_

_ Antwoordopties: _

1. Informatica
2. Techniek
3. Onderwijs
4. Bedrijfsadministratie
5. Marketing
6. Economie
7. Taalkunde
8. Sociologie
9. Biologie
10. Milieuwetenschappen
11. Voeding en diëtetiek
12. Psychologie

AANVULLENDE VOORZORGSMAATREGELEN

• Zorg ervoor dat respondenten niet kunnen raden wat de juiste antwoorden zijn uit de titel van je enquête. Gebruik bijvoorbeeld niet de titel ‘Enquête voor Nederlandse gezondheidszorgwerkers’, omdat dit ertoe zou kunnen leiden dat je slechte acteurs gaat screenen, waardoor het doel van je kwalificatietrechter teniet wordt gedaan.
• Randomiseer de positie van je juiste antwoordopties om te voorkomen dat respondenten het juiste antwoord raden op basis van eerdere antwoorden. Als het juiste antwoord van Vraag 1 bijvoorbeeld '_4' is, maak dan het juiste antwoord van Vraag 2'7', het juiste antwoord van Vraag 3 '5', enzovoort.
• Randomiseer de volgorde van opties als dat patroonantwoorden beperkt, maar houd ordinale categorieën in hun natuurlijke volgorde.

2. Voorbeeldspecifieke vragen

Voorbeeldspecifieke vragen zijn vragen die zijn bedoeld om de kennis of kenmerken van een deelnemer te beoordelen die specifiek zijn voor de beoogde doelgroep van je enquête. Het juiste antwoord op de vraag ligt doorgaans heel voor de hand voor een respondent die tot je doelgroep behoort, maar niet zozeer voor iemand die buiten deze groep valt. Respondenten die deze antwoorden fout hebben, komen niet in aanmerking voor deelname aan je enquête en moeten worden uitgesloten van je dataset.

VOORBEELD

Je bent op zoek naar frequente Facebook-gebruikers om je enquête te beantwoorden. Stel de volgende vragen:

_ Vraag 1:  Welke van de volgende acties kunnen niet worden uitgevoerd op Facebook?_

_ Antwoordopties: _

1. Vind ik leuk
2. Delen
3. Commentaar
4. Pingen
5. Reageer
6. Volgen
7. Ontvriend
8. Zoeken
9. Opslaan
10. Rapport
11. Post
12. Tag

_ Vraag 2:  Hoe heet de berichten-app van Facebook?_

_ Antwoordopties: _

1. Facebook Messenger
2. Draden
3. Facebook-chats
4. Chatbox
5. Instantbericht
6. DM
7. Inbox
8. De hub
9. WhatsApp
10. Slapping
11. Pingen
12. De chatroom

_ Vraag 3:  Waar zou je een item verkopen op Facebook?_

_ Antwoordopties: _

1. Facebook-winkel
2. De groep
3. Marktplaats
4. META
5. Koop en verkoop
6. Winkel
7. Jaga
8. De uitwisseling
9. Gumtree
10. Amazone
11. Zuckersell
12. Facebook-aankoop

AANVULLENDE VOORZORGSMAATREGELEN

• Randomiseer de positie van je juiste antwoordopties om te voorkomen dat respondenten het juiste antwoord raden op basis van eerdere antwoorden. Als het juiste antwoord van Vraag 1 bijvoorbeeld ‘4’ is, maak dan het juiste antwoord van Vraag 2 ‘7’, het juiste antwoord van Vraag 3 ‘5’, enzovoort.
• Randomiseer de volgorde van opties als dat de meting niet moeilijker maakt.
• Wees voorzichtig met de kennis waarvan je denkt dat je doelgroep deze heeft. Hoewel frequente Facebook-gebruikers misschien weten wat de ‘Share’-knop doet, weten ze misschien niet allemaal wat het maximale aantal tekens is wanneer een bericht wordt gemaakt. Nogmaals, het juiste antwoord zou voor het beoogde publiek redelijk duidelijk moeten zijn.

BONUS Kwalificatiecheck

Een CAPTCHA kan een deel van het geautomatiseerde verkeer tegenhouden, maar herkent niet alle bots en kan toegankelijkheidsproblemen veroorzaken. Combineer het zo nodig met signalen zoals dubbele deelnames, invultijd en plausibiliteit, en bied een toegankelijke uitweg.

Afsluitende gedachten

Kwalificatiechecks helpen om je steekproef binnen de vooraf bepaalde doelgroep te houden. Combineer ze met passende werving, valide vragen en transparante uitsluitingsregels.

P.S. Problemen voorkomen is eenvoudiger dan ze achteraf proberen te herstellen. Vraag hulp bij het plannen van je dataverzameling.

Veelgestelde vragen

1. Wat zijn kwalificatiechecks bij enquêteonderzoek?

Dit zijn vragen of regels die opgegeven kenmerken vergelijken met de inclusiecriteria van het onderzoek. Ze helpen antwoorden buiten de doelgroep te verminderen, maar garanderen geen identiteit of eerlijkheid.

2. Welke soorten kwalificatiecontroles worden vaak gebruikt?

Er worden vaak twee primaire soorten kwalificatiecontroles gebruikt: kwalificatietrechters en steekproefspecifieke vragen. Kwalificatietrechters omvatten meerkeuzevragen met slechts één correct antwoord, waarbij de geschiktheid wordt beoordeeld op basis van specifieke criteria. Voorbeeldspecifieke vragen richten zich op de kennis of kenmerken van respondenten die relevant zijn voor het beoogde publiek van de enquête.

3. Hoe werken kwalificatietrechters?

Kwalificatietrechters bestaan ​​doorgaans uit meerkeuzevragen die zijn ontworpen om te verifiëren of respondenten in aanmerking komen voor deelname aan een enquête. Deze vragen hebben één juist antwoord uit verschillende opties. Respondenten die alle kwalificatietrechtervragen correct beantwoorden, komen in aanmerking voor verdere deelname aan de enquête.

5. Wat zijn voorbeeldspecifieke vragen?

Voorbeeldspecifieke vragen beoordelen de kennis of kenmerken van respondenten die specifiek zijn voor de doelgroep van de enquête. De juiste antwoorden op deze vragen zijn vaak voor de hand liggend voor het beoogde publiek, maar kunnen voor anderen een uitdaging zijn om correct te beantwoorden. Respondenten die deze vragen niet nauwkeurig beantwoorden, worden uitgesloten van de dataset.