——————————————————————————————–

Rozbor článků

1. Vývoj testu

Článek McFarland, Wenderoth, et al. (2016) je dostupný online.

  1. Co je to koncepční rámec (Conceptual Framework), k čemu může pomoci
  2. Homeostasis Conceptual Framework (HCF) popisovaný v tomto článku má tři úrovně, jak jsou zde nazývány?
  3. Kdo byl zapojen do validizace HCF (část Methods)
  4. K čemu je dobrá Delphi technika?
  5. V části validation jsou popsány tři typy validity (důkazů o validitě), které byly adresovány, o které se jedná?
  6. Kolik položek/konceptů bylo odebráno z první verze HCF (Tabulka 5)
  7. Kterou položku/koncept HCF-3 hodnotili respondenti Survey 2 jako nejdůležitější? Který jako nejobtížnější? (Tabulka 6) Kdo byli respondenti a kolik jich bylo?
  8. Kolik critical components a kolik constituent ideas obsahuje poslední verze HCF?

2. Validizace testu

Článek McFarland, Price, et al. (2017) je dostupný online.

  1. Co je to koncepční test? Vývoj jakého koncepčního testu je v článku popsán? Jaká témata test pokrývá?
  2. V kolika kolech byl test HCI vyvíjen, kdo byl zapojen do vývoje, na kom byl test pretestován? (Methods)
  3. Hlavní část validizační studie je realizována na větším vzorku studentů, o kolik studentů a z kolika institucí se jednalo? (Methods / Homeostasis Concept Inventory)
  4. Jaké metody byly využity při validizaci HCI? (Tabulka 4)
    1. Jakými empirickými metodami byla ověřena validita testu?
    2. Jakými metodami byla ověřena reliabilita testu?
    3. Jak byly analyzovány vlastnosti položek?
  5. Najděte v článku příslušné grafy/výsledky zodpovídající na analytické otázky z Tabulky 4.

Analýza dat v ShinyItemAnalysis

V tomto cvičení budeme analyzovat data Homeostasis Concept Inventory (HCI) (McFarland, Price, et. al., 2017) pomocí aplikace ShinyItemAnalysis (Martinková et al., 2017).

1. Stažení souborů

Na webové stránce semináře naleznete pod Lesson 2 materiály k dnešnímu semináři.

  • Kliknutím na HCI_ABCD.csv si můžete data prohlédnout (nutno zadat heslo).
  • Pomocí pravého tlačítka (Save link as…) si uložte do jednoho adresáře (např. Dokumenty/NMST570) data HCI_ABCD.csv, HCI_key.csv, HCI_group.csv.

2. Otevření R a ShinyItemAnalysis

Po otevření RStudia (např. z menu Start napsáním příkazu „RStudio“ (bez uvozovek)) je potřeba nainstalovat a poté otevřít potřebné balíky na analýzy položek:

# instalace balicku
install.packages("ShinyItemAnalysis")
# nacteni knihovny
library(ShinyItemAnalysis)
# spusteni ShinyItemAnalysis aplikace
startShinyItemAnalysis()

Pro lepší zobrazení klikněte v levém horním rohu na tlačítko Open in Browser. Ti, kdo nechtějí instalovat, či spouštět R a RStudio, mohou využít online verzi.

3. Načtení datového souboru HCI do ShinyItemAnalysis

  1. V záložce Data v části Upload your own datasets nahrejte data HCI
    1. Choose data (csv file): HCI_ABCD.csv
    2. Choose key (csv file): HCI_key.csv
    3. Choose groups for DIF: HCI_group.csv
    4. Choose criterion variable: Nezadávejte (pro tato data není k dispozici)
  2. Data specification zvolte:
    1. Header (data obsahují hlavičku – názvy proměnných)
    2. Separator: Semicolon (data oddělená středníkem)
    3. Quote: Double quote
  3. Potvrďte tlačítkem Submit data.
  4. Data si můžete prohlédnout v podzáložce Data exploration
    1. Kolik mají položek?
    2. Kolik studentů na test zodpovědělo?

4. Summary statistics, skórování studentů

  1. Prohlédněte si popisné statistiky celkových skórů datasetu HCI (záložka Summary).
    1. Jaké bylo minimální a maximální celkové dosažené skóre z testu?
    2. Jaké bylo průměrné skóre, jaký byl medián?
  2. Kolik bodů získal student, který se umístil na 60. percentilu? (Summary/Standard Scores)

5. Korelační struktura

  1. S jakými položkami nejvíce koreluje položka 9 (Validity/Correlation structure)? Přečtěte si v Supplementu prvního článku jejich zadání. Čím může být vyšší korelace způsobena? (viz také článek McFarland et al., část Limitations and Future work)

6. Položková analýza

  1. Detekujte nejlehčí položku, nejtěžší položku, položku s nejnižší a položku s nejvyšší diskriminací. Využijte nejprve grafu, hodnoty pak ověřte v tabulce Tradiční položková analýza (Traditional analysis/Item analysis)
  2. Prohlédněte si Distractor Plot těchto položek (Traditional analysis/Distractors).
  3. Přečtěte si zadání položky s nejmenší diskriminací a podívejte se na Distractors plot rozdělený na pětiny. Čím může být malá diskriminace způsobena?

7. Regresní modely

  1. Prohlédněte si grafy regresních modelů všech položek (Regression)
  2. Pro položku 4 interpretujte odhady získané jednotlivými modely
  3. Zkontrolujte, zda pro tuto položku lépe fituje 2-parametrický nebo 3-parametrický model (Regression/Model comparison)

8. IRT modely

  1. Prohlédněte si Raschův IRT model (IRT models/Rasch)
    1. Co je zobrazeno na Wright map?
  2. Prohlédněte si další IRT modely. Který model se jeví jako optimální?

9. Uložení pdf reportu

  1. Zvolte Formát of report PDF (Reports)
  2. Zadejte své jméno do kolonky Author a jméno datasetu „HCI“ do kolonky Dataset
  3. Zvolte Customize settings
  4. Validity – zvolte Correlation structure (pozn. Predictive validity není možné provést, neboť nemáme k dispozici kritérium)
  5. Difficulty/discrimination plot: ponechte Number of groups 3, compare 1-3
  6. Distractors plot: ponechte Combinations, zvolte Number of groups 5
  7. IRT model selection změňte na 3PL
  8. DIF – ponechte prázdné
  9. Zvolte Generate report (odklikněte oznámení o tom, že analýzy mohou trvat déle)
  10. Poté, co analýzy doběhnou, zvolte nově zobrazené tlačítko Download report (odklikněte oznámení o tom, že analýzy mohou trvat déle)
  11. Prohlédněte si stažený pdf report.

——————————————————————————————–

Reference

Martinková, P., Drabinová, A., & Houdek, J. (2017). ShinyItemAnalysis: Analýza přijímacích a jiných znalostních či psychologických testů. TESTFÓRUM, 6(9), 16-35. See online.

McFarland, J., Wenderoth, M. P., Michael, J., Cliff, W., Wright, A., & Modell, H. (2016). A conceptual framework for homeostasis: development and validation. Advances in physiology education, 40(2), 213-222. See online.

McFarland, J. L., Price, R. M., Wenderoth, M. P., Martinková, P., Cliff, W., Michael, J., … & Wright, A. (2017). Development and validation of the homeostasis concept inventory. CBE-Life Sciences Education, 16(2), ar35. See online.