Pretests
„If you don’t have the resources to pilot test your questionnaire, don’t do the study.“ (Sudman/Bradburn, 1982): Jedes konstruiertes Erhebungsinstrument muss nach dessen Fertigstellung und vor dem Einsatz in der Erhebung zwingend einem Pretest unterzogen werden. Dabei geht es darum,
- die Verständlichkeit der Fragen zu überprüfen
- die Schwierigkeiten der Probanden beim Ausfüllen zu ermitteln
- die bei Fragen auftretenden Varianzen zu ermitteln
- die Klarheit von Kategorien und Kategorienbildung zu überprüfen (Eindeutigkeit, Ausschliesslichkeit, Vollständigkeit) sowie
- die technische Funktionalität unter der Feldbedingung zu prüfen.
Ein zentraler Aspekt von Pretests ist weiter die Überprüfung der Zuverlässigkeit (Reliabilität) und Gültigkeit (Validität) des Erhebungsinstrumentes. Ist es reliabel, wird unter gleichen Bedingungen und gleichen Probanden mehrmalig das geforderte gleiche Ergebnis gemessen. Ist es valide, wird zudem effektiv jene Variable gemessen, welche zu messen beabsichtigt ist.
Grundsätzlich bestehen drei verschiedene Verfahren: Pretestverfahren im Feld, kognitive Verfahren sowie andere Verfahren wie beispielsweise Fokusgruppen oder Expertenbefragungen. Für Fragebogen lassen sich die beiden Hauptkategorien qualitative und quantitative Pretests unterscheiden.
In der Mehrheit der Fälle ist ein mehrmaliges Pretesten erforderlich und im Anschluss sind Adaptierungen am Erhebungsinstrument vorzunehmen (zurück zu „Konstruktion des Erhebungsinstrumentes“).
Qualitative Pretests
Qualitative Pretest werden in der Regel mit 15 bis 20 Probanden durchgeführt. Bei der Durchführung qualitativer Pretests werden Rückmeldungen und Bemerkungen zum Erhebungsinstrument persönlich bei Testpersonen erfragt. Dies erlaubt einen umfassenden Einblick in die Art, wie Befragte beim Beantworten von Fragebogen vorgehen. Zudem werden Schwierigkeiten und Unklarheiten beim Ausfüllen oder beim Verständnis der Fragen ersichtlich.
Qualitative Pretests ergänzen die quantitativen, in grösseren Probandengruppen durchgeführten Pretests. Der Vorteil der qualitativen Pretests ist, dass sie spezifischer auf die Problematiken im Erhebungsinstrument eingehen können, da ein persönlicher Kontakt mit dem Probanden vorhanden ist. Bei vorhandenem Zeitbudget können qualitative Pretest vor den quantitativen durchgeführt werden. Gleichzeitig kann dann die Optimierung für die quantitativen Pretest bereits vorgenommen werden.
Quantitative Pretests
Quantitative Pretests werden in der Regel mit mehr als 100 Probanden durchgeführt um eine möglichst breite und idealerweise homogene Rückmeldung zum Erhebungsinstrument zu erhalten. Für die quantitativen Pretests sollte dasselbe Auswahlverfahren (beispielsweise Zufallsstichprobe) angewendet werden, welches für die Hauptbefragung vorgesehen ist. Weiter sollte die qualitative Testgruppe den soziodemografischen Charakteren der Hauptbefragungs-Teilnehmenden entsprechen (beispielsweise Geschlechterverteilung).
Im Rahmen der qualitativen Pretests testen die Probanden das Erhebungsinstrument im Feld (sie erhalten beispielsweise einen Link und füllen eine Befragung online aus), teilweise ohne Wissen, dass sie „nur“ Testpersonen sind.
Die Rückmeldungen aus quantitativen Pretests reichen in der Regel nicht aus, um die genauen Ursachen von Unklarheiten oder Fehlern im Erhebungsinstrument zu beheben. Daher werden sie mit qualitativen Pretests ergänzt.
Split-Half Experimente, die einer Probandengruppe beispielweise eine 4-Punkte-Likert-Skala, einer anderen eine 5-Punkte-Likert-Skala vorlegen, können aufschlussreiche Einsichten geben über allfällige Unsicherheiten betreffend anzuwendender Skalierung.