Methods for pretesting survey questions
DOI:
https://doi.org/10.18778/0208-600X.42.06Keywords:
conventional pretesting, in-depth pilot study, cognitive interviewing, behavior coding, response latency, vignettes, respondent debriefing, experimentAbstract
The tradition of Polish research on pretesting methods refers to “Lodz Methodological School” and dates back to the 70s and 80s. Currently, the interest in testing and evaluating research tools is typical mainly of US methodological literature. The article presents the achievements and outlines the most important field methods of pretesting survey questions. The description of each method contains the review of research procedures, sampling techniques and data analysis in particular, as well as comments on possibilities of practical application. Additionally, we analyse the sources of information used in different methods, as well as point out problems concerning the simulation of research conditions characteristic of “real” interview. Moreover, we sum up the presented methods, paying special attention to the fact to what extent they achieve the goals of pretesting research.
References
Babbie, E. (2003), Badania społeczne w praktyce, Warszawa: PWN
Google Scholar
Bassili, J. N., Scott, B. S. (1996), Response latency as a signal to question problem in survey research, Public Opinion Quarterly, vol. 60, No. 3
Google Scholar
DOI: https://doi.org/10.1086/297760
Beatty, P. C., Willis, G. B. (2007), Research synthesis: the practice of cognitive interviewing, Public Opinion Quarterly, vol. 71, No. 2
Google Scholar
DOI: https://doi.org/10.1093/poq/nfm006
Conrad, F., Blair, J. (1996), From impressions to data: increasing the objectivity of cognitive interviews, Proceedings of the 1996 Section on Survey Research Methods, American Statistical Association
Google Scholar
Conrad, F., Blair, J., Tracy, E. (2000), Verbal reports are data! A theoretical approach to cognitive interviews, Proceedings of the 1999 Federal Committee on Statistical Methodology Research Conference, Washington
Google Scholar
Daniłowicz, P. (1974), Próba standaryzacji zachowań ankieterskich w badaniach opartych o wywiad kwestionariuszowy, [w:] Gostkowski, Z. (red.), Z metodologii i metodyki socjologicznych badań terenowych, z. 3, Warszawa: IFiS PAN
Google Scholar
Daniłowicz, P. (1975), Refleksje nad zastosowaniem pytań pustych w wywiadach kwestionariuszowych, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Daniłowicz, P., Sztabiński, P. B. (1974), Dwa typy dyrektyw w instrukcjach pilotażowych i konsekwencje ich stosowania, [w:] Gostkowski, Z. (red.), Z metodologii i metodyki socjologicznych badań terenowych, z. 3, Warszawa: IFiS PAN
Google Scholar
DeMaio, T., Ciochetto, S., Davis, W. (1993), Research on continuing survey of food intakes by individuals, Proceedings of the 1993 Section on Survey Research Methods, American Statistical Association
Google Scholar
Draisma, S., Dijkstra, W. (2004), Response latency and (para)linguistic expressions as indicators of response error, [w:] Presser, S., Rothgeb, J. M., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Singer, E. (eds.), Methods for testing and evaluating survey questionnaires, New York: John Wiley & Sons
Google Scholar
DOI: https://doi.org/10.1002/0471654728.ch7
Esposito, J. L., Campanelli, P. C., Rothgeb, J., Polivka, A. E. (1991), Determining which questions are best: methodologies for evaluating survey questions, Proceedings of the 1991 Section on Survey Research Methods, American Statistical Association
Google Scholar
Foddy, W. (2002), The in-depth testing of survey questions: a critical appraisal of methods, [w:] Vaus, de D. (ed.), Social surveys, vol. 3, London: Sage Publications (przedruk artykułu z Quality and Quantity, vol. 30, No. 4)
Google Scholar
DOI: https://doi.org/10.1007/BF00170142
Fowler, F. J., Jr. (1992), How unclear terms affect survey data, Public Opinion Quarterly, vol. 56, No. 2
Google Scholar
DOI: https://doi.org/10.1086/269312
Fowler, F. J., Jr. (2004), The case for more split-sample experiments in developing survey instruments, [w:] Presser, S., Rothgeb, J. M., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Singer, E. (eds.), Methods for testing and evaluating survey questionnaires, New York: John Wiley & Sons
Google Scholar
Gostkowski, Z. (1975), Wstęp, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Graesser, A. C., Cai, Zhiqiang, Louwerse, M. M., Daniel, F. (2006), Question Understanding Aid (QUAID). A web facility that tests question comprehensibility, Public Opinion Quarterly, vol. 70, No. 1
Google Scholar
DOI: https://doi.org/10.1093/poq/nfj012
Groves, R. M., Fowler, F. J., Jr., Couper, M. P., Lepkowski, J. M., Singer, E., Tourangeau, R. (2004), Survey methodology, New York: John Wiley & Sons
Google Scholar
Krzewińska, A. (2006), O socjologicznym wywiadzie kwestionariuszowym: psychologia poznawcza Norberta Schwarza i jej badawcze zastosowanie w warunkach polskich, [w:] Gostkowski, Z., Kubiak, A. (red.), Analizy i próby technik badawczych w socjologii, t. 11, Łódź: Łódzkie Towarzystwo Naukowe
Google Scholar
Loftus, E. F. (1984), Protocol analysis of response to survey recall questions, [w:] Jabine, T. B., Straf, M. L., Tanur, J. M., Tourangeau, R. (eds.), Cognitive aspects of survey methodology. Building a bridge between disciplines, Washington: National Academy Press
Google Scholar
Lutyńska, K. (1974), Analiza istotności odpowiedzi uzyskiwanych w pogłębionym badaniu pilotażowym, [w:] Gostkowski, Z. (red.), Z metodologii i metodyki socjologicznych badań terenowych, z. 3, Warszawa: IFiS PAN
Google Scholar
Lutyńska, K. (1975), Pilotaż „pogłębiony”. Koncepcja, realizacja i analiza materiałów pilotażowych, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Lutyńska, K. (1975a), Weryfikacja danych uzyskanych z odpowiedzi respondentów na pytania o wysokość zarobków, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Lutyńska, K. (1978), Drażliwość i trudność pytań metryczkowych w wywiadzie socjologicznym w świetle opinii respondentów i obserwacji. Raport z pilotażu pogłębionego, [w:] Gostkowski, Z. (red.), Z metodologii i metodyki socjologicznych badań terenowych, z. 5, Warszawa: IFiS PAN
Google Scholar
Lutyńska, K. (1984), Wywiad kwestionariuszowy. Przygotowanie i sprawdzanie narzędzia badawczego, Wrocław: Ossolineum
Google Scholar
Lutyńska, K. (1981), Uwagi wstępne. Od metodologii „empirycznej” do prób porządkowania pojęć z zakresu metodologii i teorii socjologii, [w:] Lutyńska, K. (red.), Szkice metodologiczne, Warszawa: IFiS PAN
Google Scholar
Lutyński, J. (1975), Analizy weryfikacyjne w badaniach z zastosowaniem wywiadu kwestionariuszowego, ich rodzaje i możliwości, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Lutyński, J. (1979), Pytanie jako narzędzie w surveyowych badaniach socjologicznych, „Przegląd Socjologiczny”, nr 2
Google Scholar
Martin, E. (2006), Vignettes and respondent debriefing for questionnaire design and evaluation, Research Report Series, Survey Methodology #2006-8, strona internetowa https://www.census.gov/srd/papers/pdf/rsm2006-08.pdf (dostęp: lipiec 2012)
Google Scholar
Nuckols, R. C. (1953), A note on pre-testing public opinion questions, “Journal of Applied Psychology”, vol. 37, No. 2
Google Scholar
DOI: https://doi.org/10.1037/h0063482
Oksenberg, L., Cannell, Ch., Kalton, G. (1991), New strategies for pretesting survey questions, “Journal of Official Statistics”, vol. 7, No. 3
Google Scholar
Presser, S., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Rothgeb, J. M., Singer, E. (2004), Methods for pretesting and evaluating survey questions, “Public Opinion Quarterly”, vol. 68, No. 1
Google Scholar
DOI: https://doi.org/10.1093/poq/nfh008
Przybyłowska, I. (1975), Wywiad o wywiadzie jako technika otrzymywania informacji o wewnętrznej reakcji respondenta na pytanie kwestionariuszowe, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Schaeffer, N. C., Dykema, J., Garbarski, D., Maynard, D. W. (2008), Verbal and paralinguistic behaviors in cognitive assessments in survey interview, Proceedings of the 2008 Section on Survey Research Methods, American Statistical Association
Google Scholar
Sułek, A. (2001), Sondaż polski, Warszawa: IFiS PAN
Google Scholar
Sztabiński, F. (1982), Ankieta i jej pilotaż, [w:] Gostkowski, Z. (red.), Z metodologii i metodyki socjologicznych badań terenowych, z. 7, Warszawa: IFiS PAN
Google Scholar
Sztabiński, P. B., Sztabiński, F. (2005), Jak połączyć pilotaż z badaniem próbnym? Przykład Europejskiego Sondażu Społecznego 2004, „ASK”, nr 14
Google Scholar
Tuchańska, B. (1975), Analiza modelu wewnętrznej reakcji respondenta na pytanie w wywiadzie kwestionariuszowym, [w:] Gostkowski, Z., Lutyński, J. (red.), Analizy i próby technik badawczych w socjologii, t. 5, Wrocław–Warszawa–Kraków–Gdańsk: Ossolineum
Google Scholar
Van der Zouwen, J., Smit, J. H. (2004), Evaluating survey questions by analyzing patterns of behavior codes and questions-answer sequences: a diagnostic approach, [w:] Presser, S., Rothgeb, J. M., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Singer, E. (eds.), Methods for testing and evaluating survey questionnaires, New York: John Wiley & Sons
Google Scholar
DOI: https://doi.org/10.1002/0471654728.ch6
Van Someren, M. W., Bernard, Y. F., Sanberg, A. C. (1994), The think aloud method. A practical guide to modeling cognitive processes, London: Academic Press
Google Scholar
Willis, G. B. (1999), Cognitive interviewing: A “How To” guide, Meeting of the 1999 American Statistical Association, Research Triangle Institute
Google Scholar
Willis, G. B., Lessler, J. T. (1999), Question appraisal system. QUS-99, Research Triangle Institute, http://appliedresearch.cancer.gov/areas/cognitive/qas99.pdf (dostęp: wrzesień 2012)
Google Scholar
Downloads
Published
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
