1. Why DIF analysis should be a routine part of developing conceptual assessments

Článek Martinková, Drabinová et al. (2017) je dostupný online.

  1. Jaké metody pro detekci DIF jsou v článku představeny?
  2. Jak byl simulován datový soubor GMAT z Case study 2?
  3. Zkuste si analýzy DIF na datech GMAT v ShinyItemAnalysis. Které položky vykazují DIF, použijete-li Benjamini-Hochbergovu korekci? Které položky vykazují DIF/DDF, nepoužijete-li žádnou korekci? Vytvořte pdf report, který bude obsahovat kompletní DIF analýzu.
  4. Zkuste načíst do ShinyItemAnalysis data HCI a vyzkoušejte jednotlivé DIF metody na tomto datovém souboru. Vytvořte pdf report s kompletní DIF analýzou.
  5. Zkuste projet zdrojový kód R (na datech GMAT), který je k dispozici v Supplementu článku.
  6. Zkuste dále načíst data HCI do R a projeďte zdrojový kód v Supplementu na těchto datech. Pro načtení dat HCI použijte následující kód:
load(file = "dataHCI.RData")

varsQR <- paste("QR", 1:20, sep = "")
data <- dataHCI[dataHCI$gender != "none", varsQR]
group <- ifelse(dataHCI[dataHCI$gender != "none", "gender"] == "F", 1, 0)

2. DIF detection with non-linear regression

Článek Drabinová, Martinková et al. (2017) je dostupný online.

  1. Jaká metoda pro detekci DIF je v článku představena? V čem je její výhoda oproti logistické regresi?
  2. S jakými metodami je nová metoda porovnána v simulační studii? V čem je její výhoda oproti těmto metodám?
  3. Tabulka 1 a 2 popisují parametry položek, které byly využity v simulační studii. Jak byly parametry zvoleny?
  4. Reálný datový soubor MSAT-B, který je v článku použit pro ilustraci metody, je k dispozici jako cvičný dataset v ShinyItemAnalysis. Zkuste zde analýzu zreplikovat (dopracovat se k výsledkům z Tabulky 4 a Tabulky 5).
  5. Zkuste projet zdrojový kód, který je k dispozici v Supplementu článku.

Reference

Martinková, P. Drabinová A., Liaw, Y-L., Sanders, E.A., McFarland J. L., & Price, R. M. (2017). Checking Equity: Why Differential Item Functioning Analysis Should Be a Routine Part of Developing Conceptual Assessments. CBE-Life Sciences Education, 16(2), rm2. Online.

Drabinová, A., & Martinková P. (2017). Detection of Differential Item Functioning with Non-Linear Regression: Non-IRT Approach Accounting for Guessing. Journal of Educational Measurement, 54(4), 498-517. Online.

Martinková, P., Drabinová, A., & Houdek, J., Leder, O. (2017). ShinyItemAnalysis: Test and Item Analysis. Online Application. Online