Porównywalność skal w miedzynarodowych badaniach sondażowych

Kierownik projektu: dr hab Artur Pokropek, prof. IFiS PAN
Data rozpoczęcia: 10. 07. 2015
Data zakończenia: 09. 07. 2019
Finansowanie Narodowe Centrum Nauki, konkurs SONATA 9
numer projektu: 2014/15/D/HS6/04934

Opis projektu:

Cel prowadzonych badań/hipoteza badawcza
Mimo, iż badania porównawcze mogą poszczycić się długą tradycją, to dopiero od lat 60. bazują na kompleksowych dowodach opartych na międzynarodowych reprezentatywnych badaniach sondażowych. W ciągu minionych lat odnotowujemy znaczny postęp w zapewnieniu porównywalności tych badań. Jednakże zakłócenia porównywalności, które są niemożliwe do przewidzenia na etapie projektowania badania, nie zostały jeszcze w systematyczny sposób zbadane i do tej pory problem konstrukcji międzynarodowo porównywalnych wskaźników stanowi poważną przeszkodę stojącą na drodze do trafności dociekań substantywnych. Jeżeli wskaźniki są nieporównywalne, to wnioski badawcze będą zazwyczaj błędne.

Głównym celem tego projektu będzie opracowanie procedur umożliwiających konstrukcję skal pomiarowych pozwalających na uprawnione porównania międzykulturowe i analizy zmian w czasie. Opracowane procedury zostaną wykorzystane do analizy wybranych skal stosowanych w badaniach ESS, WVS, ISSP, PISA i PIAAC. Wskazane zostanie, które wskaźniki, kraje i/lub punkty czasowe są problematyczne w kategoriach porównywalności.

Zastosowana metoda badawcza/metodyka
Badanie będzie opierało się na technikach symulacji Monte Carlo. Metody te pozwalają w systematyczny i rygorystyczny sposób ocenić użyteczność postulowanych modeli w wyspecyfikowanych przez badacza warunkach. Pierwszym krokiem analiz będzie testowanie pięciu metod wykrywania pytań nieporównywalnych międzynarodowo. Następnie za pomocą metod symulacyjnych przetestowane zostaną cztery modele skalowania (konstrukcji wskaźników) w sytuacji niepełnej porównywalności. Wykrywanie pytań nieporównywalnych oraz testowanie metod skalowania będzie analizowane według różnych scenariuszy. Co najmniej 9 zmiennych określających różne warunki zostanie wziętych pod uwagę podczas tworzenia nie mniej niż 500 warunków symulacyjnych.
Wpływ spodziewanych rezultatów na rozwój nauki, cywilizacji, społeczeństwa
Niniejszy projekt pozwoli przełamać impas w analizach porównywalności skal. Bowiem do tej pory w kontekście rozwoju metodologicznych procedur umożliwiających przygotowywanie porównywalnych międzynarodowo skal nie wszystko zostało zrobione. Wskazuje na to popyt na takie analizy, wyraźnie sygnalizowany w literaturze socjologicznych badań porównawczych.

Proponowany projekt zapewni rozwój metod umożliwiających tworzenie porównywalnych skal dla badań analizujących porównawczo kraje, regiony i inne jednostki administracyjne. O pionierskim aspekcie tego projektu stanowi to, że nie tylko zwróci on uwagę na problem błędów w międzynarodowych badaniach porównawczych, ale także określi ich zakres i zaproponuje skuteczne metody korekcji.
Do tej pory badania międzynarodowe miały ogromny wpływ na rozwój socjologii porównawczej, ekonomii, innych nauk społecznych oraz polityki krajów OECD. Zwiększenie porównywalności wskaźników zwiększy trafność wszystkich badań na nich bazujących.
Research project objectives/Research hypothesis
While comparative research has had a long tradition, it is only since the 1960s that it has relied on comprehensive evidence from nationally representative surveys. Over that time period much progress has been made in ensuring comparability of survey measures in cross-national data collections. However, such distortions to comparability, which are impossible to take into account at the survey design stage, have not been yet systematically addressed. This is a serious methodological problem, which may draw flawed conclusions that often form bases for ranking countries with respect to various policy relevant outcomes.
The main objective of this project will be focusing on achieving more meaningful cross-national and cross-time comparisons. Created procedures will be applied to the existing data with view to the comparability of multi-item scales in ESS, WVS, ISSP, PISA and PIAAC. The analysis will be conducted showing countries and/or point times that are problematic in terms of comparability.
Research project methodology
This study will be based on Monte Carlo simulation techniques which enables a truly rigorous investigation of their prosperities. Five methods of detecting nonequivalent items across groups and four models of scaling (constructing of indicators) will be tested. Detection of nonequivalent items in this project will be tested in different scenarios. At least 9 variables defining at least 500 different simulation conditions will be used for generating simulations.
Expected impact of the research project on the development of science, civilization and society
The project reveals great opportunities for generating useful knowledge for scientific community as minor international efforts have been put into the development of cross-country comparable scales and methodological procedures enabling construction of such. Moreover, in the comparative research literature there is growing demand for such analysis indicating usefulness of the project.
The proposed project will provide cutting edge developments in methods enhancing comparability of attitudinal scales across nation states, regions and other comparison units typical for macro-sociological research. The pioneering contribution of the proposed project is that it will not only draw attention to potential biases but will also estimate their extent. Most importantly, it will propose effective methods of bias correction. So far cross national survey research has had an enormous impact on the development of comparative sociology, economics and other related social science and the related policy across the OECD countries. Improving the comparability of indicators will increase the validity of other research based on comparative analysis.

classic-editor-remember:

block-editor