Jak (ne)dosáhnout excelence

Na finanční motivace zabudované do systémů  financování reagují vědci velmi citlivě. Je tomu tak proto, že je tyto systémy vystavují přímé vzájemné konkurenci. Výzkum se bez peněz dělá obtížně a při aplikaci automatického financování jednotlivých výstupů až na úroveň pracovišť či dokonce jednotlivců je silná reakce přirozená.

 

Rostoucí využívání hrubých citačních indexů,  jako je impakt faktor (IF), k hodnocení výsledků vědecké práce vedlo v nedávné době k do značné míry účelovému citačnímu chování vědecké komunity a k inflaci hodnot těchto indexů, což snižuje jejich schopnost měřit skutečný ohlas výsledků vědecké práce. Tato inflace má dva projevy. Za prvé roste počet IF časopisů (nově zařazovaných do databáze Web of Science). Často jde o časopisy s omezenou národní relevancí (v posledních letech např. stoupl počet IF ekonomických časopisů vydávaných v České republice na čtyři), kdy citace článků v nich publikovaných pochází dominantně pouze z národních zdrojů. Zatímco např. ve Švédsku činí podíl domácích IF výstupů na celkových výstupech sociálních věd jedno procento, u nás je to přes 70 %. Za druhé mnohé národní časopisy, především v sociálních vědách, ale také v jiných, v České republice i v dalších zemích dosahují nárůstu hodnot svých IF pomocí vysoké míry autocitovanosti v rámci časopisu (články jsou citovány v dalších číslech téhož periodika) nebo v rámci malé skupiny „národních“ časopisů s mizivým citačním ohlasem ve světové komunitě. Editor tak může poměrně snadno podněcovat růst IF svého časopisu. Např. třetí nejvyšší IF ve Web of Science v oboru ekonomie (z asi 250 časopisů) v současnosti překvapivě patří novému litevskému periodiku, které mezinárodní komunita v podstatě nezná a o němž by žádný významný ekonom neuvažoval jako o dobrém, natož špičkovém oborovém časopise. Je zkrátka všeobecně známo, že bibliometrické indexy typu IF je třeba používat s rozmyslem jako doplňkový údaj při informovaném peer review hodnocení jednotlivců a výzkumných organizací, s vědomím všech výhod i nevýhod těchto indexů. (Rovněž je samozřejmé, že IF nebo jiné citační indexy založené na časopisech uváděných v databázi Web of Science nejsou v principu použitelné v mnoha, především humanitních oborech.)

 

Ani více než dvacet let po revoluci není v České  republice k dispozici bibliometrická analýza, která by poskytovala užitečný podklad pro hodnocení produktivity jednotlivých vědních oborů vůči světu. Je tomu tak především proto, že řídicími orgány doposud zadané analýzy VVI tento účel nesplňují. Rozhodnutí i financování VVI od úrovně Rady pro výzkum, vývoj a inovace a české vlády přes úroveň ministerstev až na úroveň jednotlivých vysokých škol tak nemohou být dostatečně podložená. V prezentaci na konferenci Knowledge – Research – Education jsem uvedl příklady chybného nebo nedostatečného použití oborových normalizací bibliometrických dat v analýzách, které provádí nebo zadává Rada. Hlavní problém ale samozřejmě představuje Metodika hodnocení; ta je v mezinárodním srovnání naprosto extrémní v zapojení hrubých bibliometrických dat pro alokaci přibližně třetiny celkového rozpočtu na VaVaI s účinkem často až na jednotlivé výzkumníky. V posledních letech se projevily tři hlavní dopady Metodiky:

- Zásadním způsobem využila oborově nesrovnatelné impakt faktory k arbitrárnímu určení proporcí institucionálního financování oborových skupin a tedy i poskytovatelů s rozdílnou strukturou oborů a výsledků. U oborů, u nichž lze využít časopisecké citační indexy, tato arbitrárnost vychází z absence oborových normalizací pomocí nákladových koeficientů (včetně úrovně platů obvyklé v daném oboru ve světě) a pomocí obvyklých četností impakt faktorových publikací. U ostatních oborů se Metodika neopírá o věrohodné hodnocení obsahu financovaných výstupů a jí diktované přesuny prostředků tedy nemusí vůbec odpovídat kvalitě jednotlivých vědních oborů.

- Metodika automaticky poskytuje finance poskytovatelům, kteří pomocí „bodového financování“ proplácejí svým výzkumným organizacím vědecké výstupy, jež nepodléhají věrohodnému hodnocení kvality (obsahu) a dopadu. Nabízí tím model finančního zajištění pro výzkumné organizace, jež v minulosti neprodukovaly výstupy téměř žád­né, v současnosti neprodukují výstupy kvalitní, ale mají dostatek času na produkci výstupů nabízejících nejvíce bodů za nejméně práce. Tedy takových, které by systém financování žádné země neměl preferovat. Uvnitř oborových skupin Metodika (i po úpravách) motivuje výzkumníky k mezioborové soutěži pomocí těchto „měkkých“ výstupů.

- Uvnitř oborů, v jejichž rámci IF výstupy tvoří (u nás zatím) velkou většinu všech výstupů, Metodika nastavila transparentní formu financování odkázanou ve velké míře na věrohodná externí měřítka kvality. Ta lze ale implementovat i bez systémových pochybení popsaných v předchozích dvou bodech, např. v rámci peer review procesu, kde je odstranění nevěrohodných typů výstupů či citací otázkou okamžiku.

 

Mezi roky 2009 a 2010 vedl tento systém k řádovému růstu počtu „bodů“ udělených za typy výstupů, které nepodléhají alespoň standardní kontrole mezinárodních edičních rad, jak je tomu běžné u článků v IF časopisech (200% růst u průmyslového vzoru, 400% u certifikované metodiky, 60% u knih a kapitol v knihách a naopak jen k 8% růstu bodů za články s IF, kde i část tohoto růstu do jisté míry odráží probíhající inflaci IF časopisů; viz druhý odstavec). Podobně přiložená tabulka ilustruje inflaci počtu některých financovaných výstupů a počtu IF časopisů.

Výsledkem je situace, kdy například v oboru ekonomie, kde by ve vyspělých zemích naprostá většina financování směřovala k organizacím, které publikují ve vysoce impaktovaných věrohodných mezinárodních časopisech, šlo v České republice v roce 2010 na všechny IF výstupy, tj. včetně těch domácích, méně než čtvrtina bodů a tedy institucionálních prostředků.

 

Inteligentní využití bibliometrických indikátorů je  v mnoha oborech naprosto nezbytnou součástí hodnocení a financování vědeckých výstupů. Avšak slepá aplikace hrubých bibliometrických dat vede k často až bizarním motivacím, arbitrárně přerozděluje prostředky mezi obory a v některých, především sociálně-vědních oborech důsledně potlačuje možnosti místních vědců věnovat se mezinárodně relevantnímu konkurenceschopnému výzkumu.

 

ŠTĚPÁN JURAJDA,