Sociologický časopis / Czech Sociological Review 2019, 55(2): 215-254 | DOI: 10.13060/00380288.2019.55.2.459

P a d (Používání statistické a věcné významnosti v českých sociálních vědách)

Petr Soukup
Fakulta sociálních věd, Univerzita Karlova, Praha

The aim of the article is to quantify how often in leading Czech social-science journals (Československá psychologie / Czechoslovak Psychology, Pedagogika/Pedagogy, and Sociologický časopis / Czech Sociological Review) authors choose the wrong procedures to analyse quantitative data. In particular, attention is focused on the incorrect choice of statistical tests, their misinterpretation and mechanical application, and the use of effect sizes, that are so highly recommended nowadays. The basic research period was ten years, from 2005 to 2014, and for the Czech Sociological Review the period was extended back to 1995. The results of the content analysis of published articles (N=363) show that statistical tests are applied quite often to data that are not suitable for statistical tests: this is found in about one-fifth of cases in Czech Sociological Review, one-half in Pedagogy, and more than three-quarters in Czechoslovak Psychology. In addition, authors often make mechanical use of statistical methods or make incorrect interpretations (in over 40% of articles in the Czech Sociological Review over the last 10 years) and there are rarely any substantive interpretations of results (especially in Czechoslovak Psychology). Effect sizes are applied relatively often, but there are also gaps in their usage. It is clear from the results that changes are necessary both in the teaching of quantitative methodology and publishing practices in this subject area.

Klíčová slova: statistical significance, substantive significance, effect sizes, content analysis

Zveřejněno: 1. duben 2019Zobrazit citaci

ACS AIP APA ASA Harvard Chicago IEEE ISO690 MLA NLM Turabian Vancouver
Soukup, P. (2019). P a d (Používání statistické a věcné významnosti v českých sociálních vědách). Sociologický časopis / Czech Sociological Review55(2), 215-254. doi: 10.13060/00380288.2019.55.2.459.
Stáhnout citaci

Přílohy

Stáhnout souborP_a_d_hruba_data.sav

Velikost: 30.06 kB

Stáhnout souborP_a_d_hruba_data.xls

Velikost: 229.5 kB

Stáhnout souborSoukup-online-priloha1.pdf

Velikost: 498.46 kB

Stáhnout souborSoukup-online-priloha2.pdf

Velikost: 449.11 kB

Reference

  1. AERA. 2006. "Standards for Reporting on Empirical Social Science Research in AERA Publications." Educational Researcher 35 (6): 33-40, https://doi.org/10.3102/0013189X035006033. Přejít k původnímu zdroji...
  2. APA. 2010. Publication Manual of the American Psychological Association. 6th edition. Washington, DC: American Psychological Association.
  3. Bernard, F., L. Chakhaia, L. Leopold. 2017. "'Sing Me a Song with Social Significance': The (Mis)Use of Statistical Significance Testing in European Sociological Research." European Sociological Review 33 (1): 1-15, https://doi.org/10.1093/esr/jcx044. Přejít k původnímu zdroji...
  4. Berk R. A., B. Western, R. E. Weiss. 1995a. "Statistical Inference for Apparent Populations." Sociological Methodology 25: 421-458, https://doi.org/10.2307/271073. Přejít k původnímu zdroji...
  5. Berk R. A., B. Western, R. E. Weiss. 1995b. "Reply to Bollen, Firebaugh, and Rubin." Sociological Methodology 25: 481-485, https://doi.org/10.2307/271077. Přejít k původnímu zdroji...
  6. Blahuš, P. 2000. "Statistická významnost proti vědecké průkaznosti výsledků výzkumu." Česká kinantropologie 4 (2): 53-72.
  7. Bollen, K. A. 1995. "Apparent and Nonapparent Significance Tests." Sociological Methodology 25: 459-468, https://doi.org/10.2307/271074. Přejít k původnímu zdroji...
  8. Bryan, M. L., S. P. Jenkins. 2015. "Multilevel Modelling of Country Effects: A Cautionary Tale." European Sociological Review 0 (0): 1-20, https://doi.org/10.1093/esr/jcv059. Přejít k původnímu zdroji...
  9. Cuberek, R., K. Frömel. 2011. "K problematice výzkumného výběru a testování nulové hypotézy." Československá psychologie 55 (5): 468-477.
  10. Cumming, G., F. Fidler, P. Kalinowski, L. Pav. 2012. "The statistical recommendations of the American Psychological Association Publication Manual: Effect sizes, confidence intervals, and meta-analysis." Australian Journal of Psychology 64 (3): 138-146, https://doi.org/10.1111/j.1742-9536.2011.00037.x. Přejít k původnímu zdroji...
  11. DeVaney, T. A. 2001. "Statistical Significance, Effect Size, and Replication: What Do the Journals Say?" The Journal of Experimental Education 69 (3): 310-320, https://doi.org/10.1080/00220970109599490. Přejít k původnímu zdroji...
  12. Firebaugh, G. 1995. "Will Bayesian Inference Help? A Skeptical View." Sociological Methodology 25: 469-472, https://doi.org/10.2307/271075. Přejít k původnímu zdroji...
  13. Haller, H., S. Krauss. 2002. "Misinterpretations of Significance: A Problem Students Share with Their Teachers?" Methods of Psychological Research Online 7 (1): 1-20.
  14. Harlow, L. L., S. A. Mulaik, M. L. Steiger. 1997. What if there were no significance tests? Mahwah (NJ): Erlbaum.
  15. Hendl, J. 2012. Přehled statistických metod: analýza a metaanalýza dat. Čtvrté, rozšířené vydání. Praha: Portál.
  16. Hox, J., R. Schoot, S. Matthijsse. 2012. "How few countries will do? Comparative survey analysis from a Bayesian perspective." Survey Research Methods 6 (2): 87-93.
  17. Kalton, G. 1983. Introduction to survey Sampling. California: SAGE, https://doi.org/10.4135/9781412984683. Přejít k původnímu zdroji...
  18. Kish, L. 2014. Survey Sampling. Wiley.
  19. Kline, R. B. 2004. Beyond the statistical testing. Reforming data analysis methods in behavioral research. Washington, DC: American Psychological Association, https://doi.org/10.1037/10693-000. Přejít k původnímu zdroji...
  20. Leahey, E. 2005. "Alphas and Asterisks: The Development of Statistical Significance Testing Standards in Sociology." Social Forces 84 (1): 1-24, https://doi.org/10.1353/sof.2005.0108.
  21. Levy, P. S., S. Lemeshow 2008. Sampling of Populations: Methods and Applications. 4th ed. Wiley, https://doi.org/10.1002/9780470374597. Přejít k původnímu zdroji...
  22. Little, R. J. 2004. "To Model or Not to Model? Competing Modes of Inference for Finite Population Sampling." Journal of the American Statistical Association 99 (466): 546-556, https://doi.org/10.1198/016214504000000467. Přejít k původnímu zdroji...
  23. Mittag, K. C., B. Thompson. 2000. "A national survey of AERA members' perceptions of statistical significance tests and other statistical issues." Educational Researcher 29: 14-20.
  24. Morrison, D. E., R. E. Henkel. 1969. "Significance Tests Reconsidered." The American Sociologist 4: 131-140.
  25. Morrison, D. E., R. E. Henkel. 1970. The significance test controversy: A reader. London: Butterworth.
  26. Nuzzo, R. 2014. "Scientific Method: Statistical Errors." Nature (506): 150-152, https://doi.org/10.1038/506150a. Přejít k původnímu zdroji...
  27. Oakes, M. 1986. Statistical inference: A commentary for the social and behavioral Sciences. Chichester: Wiley.
  28. Rubin, D. R. 1995. "Bayes, Neyman, and Calibration." Sociological Methodology 25: 473-479, https://doi.org/10.2307/271076. Přejít k původnímu zdroji...
  29. Sarndal, C. E. 1978. "Design-based and model-based inference in survey sampling." Scandinavian Journal of Statistics 5: 27-52.
  30. Selvin, H. 1957. "A Critique of Tests of Signifikance in Survey Research." American Sociological Review 22: 519-527, https://doi.org/10.2307/2089475. Přejít k původnímu zdroji...
  31. Soukup, P. 2010. "Nesprávná užívání statistické významnosti a jejich možná řešení." Data a výzkum - SDA Info 4 (2): 77-104.
  32. Soukup, P. 2013. "Věcná významnost výsledků a její možnosti měření." Data a výzkum - SDA Info 7 (2): 125-148, https://doi.org/10.13060/23362391.2013.127.2.41. Přejít k původnímu zdroji...
  33. Soukup, P., L. Rabušic. 2007. "Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti." Sociologický časopis / Czech Sociological Review 43 (2): 379-395.
  34. Stegmueller, D. 2013. "How Many Countries for Multilevel Modeling? A Comparison of Frequentist and Bayesian Approaches." American Journal of Political Science 57 (3): 748-761, https://doi.org/10.1111/ajps.12001. Přejít k původnímu zdroji...
  35. Sterba, S. K. 2009. "Alternative Model-Based and Design-Based Frameworks for Inference From Samples to Populations: From Polarization to Integration." Multivariate Behavioral Research 44 (6): 711-740, https://doi.org/10.1080/00273170903333574. Přejít k původnímu zdroji...
  36. Trafimow, D. 2014. Editorial. Basic and Applied Social Psychology 36 (1): 1-2, https://doi.org/10.1080/01973533.2014.865505. Přejít k původnímu zdroji...
  37. Trafimow, D., M. Marks. 2015. "Editorial." Basic and Applied Social Psychology 37 (1): 1-2, https://doi.org/10.1080/01973533.2015.1012991. Přejít k původnímu zdroji...
  38. Wasserstein, R. L., A. L. Lazar. 2016. "The ASA's Statement on p-Values: Context, Process, and Purpose." The American Statistician 70 (2): 129-133, https://doi.org/10.1080/00031305.2016.1154108. Přejít k původnímu zdroji...
  39. Ziliak, S. T., D. N. McCloskey. 2008. The Cult of Statistical Significance. How the Standard Error Costs Us Jobs, Justice, and Lives. The University of Michigan Press. Přejít k původnímu zdroji...

Tento článek je publikován v režimu tzv. otevřeného přístupu k vědeckým informacím (Open Access), který je distribuován pod licencí Attribution-NonCommercial 4.0 International (CC BY-NC 4.0), která umožňuje distribuci, reprodukci a změny, pokud je původní dílo řádně ocitováno. Není povolena distribuce, reprodukce nebo změna, která není v souladu s podmínkami této licence.