Česky
Dne 20. května 2013 jsem se jako host zúčastnil XIX. valného shromáždění Učené společnosti České republiky. Po předání medailí a cen vystoupil mladý badatel z regionální univerzity se skromnou, sympatickou a upřímnou děkovnou řečí laureátů. V ní se mimo jiné zastal opěvovaného i zatracovaného „kafemlejnku“, neboť údajně výrazně přispěl ke zvýšení úrovně výzkumu na jeho pracovišti tím, že si jeho mladí kolegové ve vzájemné soutěživosti porovnávají RIVové body, což je podněcuje k tomu, aby své práce včas dokončovali a publikovali. Při těchto slovech jsem navzdory velmi příjemné slavnostní atmosféře ve Velké aule Karolina posmutněl, poněvadž jsem si znovu uvědomil, jak obtížná bude cesta, aby věda a výzkum byly u nás hodnoceny ne podle jednoduchých a snadno dostupných číselných ukazatelů, ale podle konkrétní „přidané hodnoty“, kterou přispívají do studnice poznání.
Koncem dubna 2013 učinila Akademie věd ČR z podnětu Vědecké rady na této trnité cestě drobný krůček, když se jako jedna z 82 prvotních signatářských vědeckých a výzkumných institucí i mezinárodních vědeckých společností připojila k Sanfranciské deklaraci o hodnocení výzkumu. Její plný text v českém překladu i anglickém originále otiskujeme níže – stojí za přečtení i zamyšlení. Seznam institucí i jednotlivců, kteří Deklaraci vyjádřili podporu, naleznete na webové stránce http://am.ascb.org/dora/ a tamtéž můžete vyjádřit podporu i vy.
Pevně věřím, že se Učená společnost při rozhodování, komu budou letošní ceny uděleny, neřídila součtem impakt faktorů publikovaných prací kandidátů.
JIŘÍ ČTYROKÝ,
předseda Vědecké rady AV ČR
Deklaraci sestávající z 18 doporučení, jež by měla zvýšit kvalitu hodnocení výzkumu, vypracovala skupina redaktorů a vydavatelů vědeckých časopisů a předložila ji na výročním zasedání Americké společnosti pro buněčnou biologii (The American Society for Cell Biology) v San Francisku 16. prosince 2012. Autoři upozorňují, že impakt faktor, který v současnosti slouží jako primární parametr pro porovnávání vědeckých výstupů, vznikl původně jako nástroj, který měl pomáhat knihovníkům vyhledávat časopisy vhodné k nákupu, a nikoli jako měřítko vědecké kvality výzkumu obsaženého v určitém článku. Skupina se shodla, že impakt faktor, z něhož se stala ve světové vědě doslova „posedlost“, fakticky deformuje hodnocení vědeckých výsledků.
Sanfranciská deklarace – hodnocení výzkumu
Zavádění vědeckého přístupu do hodnocení výzkumu
Metody hodnocení výstupů vědeckého výzkumu financujícími organizacemi, akademickými institucemi a dalšími hodnotiteli je nezbytně nutné vylepšit.
Touto problematikou se na své schůzce v rámci výročního zasedání Americké společnosti pro buněčnou biologii (The American Society for Cell Biology – ASCB) v San Francisku 16. prosince 2012 zabývala skupina redaktorů a vydavatelů níže uvedených vědeckých časopisů. Tato skupina vypracovala soubor doporučení pod názvem Sanfranciská deklarace – hodnocení výzkumu. Vyzýváme zainteresované strany napříč vědeckými obory, aby vyjádřily svou podporu tím, že se stanou jejími signatáři.
Výstupy vědeckého výzkumu jsou početné a různorodé, sahají od výzkumných článků oznamujících nové znalosti přes data, chemické sloučeniny, software či duševní vlastnictví až po vysoce kvalifikované mladé vědce. Financující organizace, instituce, které zaměstnávají vědce, i vědci sami, ti všichni potřebují hodnotit kvalitu a dopad vědeckých výstupů. Je proto nezbytně nutné, aby byly vědecké výstupy přesně měřeny a moudře hodnoceny.
Jako primární parametr pro porovnávání vědeckých výstupů jednotlivců a institucí se často používá impakt faktor časopisů. Impakt faktor, vypočítávaný společností Thomson Reuters, byl původně vytvořen jako nástroj, který měl pomáhat knihovníkům vyhledávat časopisy vhodné k nákupu, a nikoli jako měřítko vědecké kvality výzkumu obsaženého v určitém článku. Musíme mít proto vždy na zřeteli, že impakt faktor časopisů jako nástroj výzkumného hodnocení trpí množstvím zásadních nedostatků. Mezi tato omezení patří následující: a) rozložení citací v rámci časopisů je velmi vychýlené [1–3]; b) vlastnosti impakt faktoru jsou specifické pro jednotlivé obory: jde o kombinaci početných a velmi rozmanitých typů článků, včetně primárního výzkumu a recenzí [1, 4]; c) impakt faktory lze manipulovat (neboli „deformovat“) pomocí redakční politiky [5]; d) data používaná pro výpočet impakt faktorů časopisů jsou netransparentní a nejsou plně dostupná veřejnosti [4, 6, 7].
Níže uvádíme řadu doporučení směřujících ke zlepšení metod hodnocení kvality vědeckých výstupů. Při hodnocení efektivity výzkumu v budoucnu poroste význam jiných výstupů, než jsou výzkumné články, hlavním výzkumným výstupem, o nějž se bude hodnocení výzkumu opírat, však zůstane posuzování výzkumných prací pomocí procesu peer review odborníky z téže oblasti. Naše doporučení jsou proto primárně zaměřena na postupy, které se týkají výzkumných článků publikovaných v časopisech hodnocených pomocí procesu peer review; je ovšem třeba je rozšířit a mezi významné výzkumné výstupy zahrnout další produkty, například soubory dat. Tato doporučení jsou cílena na financující organizace, akademické instituce, časopisy, organizace, jež poskytují měřítka hodnocení, i na jednotlivé výzkumné pracovníky.
Napříč těmito doporučeními prostupuje několik témat:
• potřeba vyřadit z úvah o financování a personálních otázkách (zaměstnávání, povýšení) měřítka hodnocení založená na časopisech, jako jsou impakt faktory;
• potřeba hodnotit výzkum na základě vlastního přínosu, a nikoli na základě časopisu, v němž je zveřejněn;
• potřeba využít příležitostí poskytovaných publikováním on-line (například uvolnit zbytečné limity počtu slov, obrázků a odkazů ve článcích a prozkoumat nové ukazatele významu a dopadu).
Uznáváme, že mnoho financujících organizací, institucí, vydavatelů a výzkumných pracovníků již zdokonalené postupy při hodnocení výzkumu podporuje. Díky těmto krokům se začínají důsledně uplatňovat důmyslnější a smysluplnější přístupy k hodnocení výzkumu, na nichž lze dále stavět a které mohou přijmout všechny klíčové subjekty, jichž se týkají.
Signatáři Sanfranciské deklarace podporují přijetí následujících postupů v hodnocení výzkumu.
Obecná doporučení
1. Nepoužívat měřítka hodnocení založená na impakt faktorech časopisů jako náhražku za hodnocení kvality jednotlivých výzkumných článků, k hodnocení příspěvků jednotlivých vědců ani v rozhodování o personálních otázkách či financování.
Pro financující organizace
2. Jasným způsobem uvádět kritéria používaná při hodnocení vědecké produktivity žadatelů o granty a zřetelně zdůraznit, obzvláště v první fázi výzkumu, že vědecký obsah článku je mnohem důležitější než publikační měřítka hodnocení nebo jméno časopisu, v němž byl publikován.
3. Za účelem hodnocení výzkumu zvažovat hodnotu a dopad všech výstupů výzkumu (včetně souborů dat a softwaru), nejen výzkumných publikací, přičemž je třeba brát v úvahu širokou škálu měřítek dopadu včetně kvalitativních indikátorů dopadu výzkumu, jako jsou například vliv na používané metody a praxi.
Pro instituce
4. Jasným způsobem uvádět kritéria používaná při rozhodování o personálních otázkách (zaměstnávání, funkční období, povýšení) a zřetelně zdůrazňovat, obzvláště v první fázi výzkumu, že vědecký obsah článku je mnohem důležitější než publikační měřítka hodnocení nebo jméno časopisu, v němž byl publikován.
5. Za účelem hodnocení výzkumu zvažovat kvalitu a dopad všech výstupů výzkumu (včetně souborů dat a softwaru), nejen výzkumných publikací, přičemž je třeba brát v úvahu širokou škálu měřítek dopadu včetně kvalitativních indikátorů dopadu výzkumu, jako jsou například vliv na používané metody a praxi.
Pro vydavatele
6. Výrazně omezit důraz na impakt faktor časopisu coby propagační nástroj, v ideálním případě jej přestat propagovat, nebo toto měřítko prezentovat v kontextu různých měřítek založených na časopisech (např. pětiletý impakt faktor, EigenFactor [8], SCImago [9], h-index, redakční a publikační časy apod.) a poskytnout tak rozmanitější náhled na výkon časopisu.
7. Dát k dispozici větší množství měřítek hodnocení na úrovni článku a podpořit tak posun směrem k hodnocení založenému na vědeckém obsahu článku, a nikoli na publikačních měřítkách hodnocení časopisu, v němž byla práce publikována.
8. Podporovat metodiku odpovědného autorství a poskytování informací o konkrétních příspěvcích každého autora.
9. Bez ohledu na to, zda jde o časopis s volným pří-stupem či s předplatným, odstranit všechna omezení týkající se opětovného použití pro seznamy odkazů ve výzkumných článcích a zpřístupnit je v rámci dedikace Creative Commons Public Domain [10].
10. Odstranit či zredukovat omezení týkající se počtu odkazů ve výzkumných článcích a tam, kde je to vhodné, upřednostnit citace primární literatury oproti recenzím, aby se tak dostalo uznání skupině či skupinám, jež dané zjištění publikovaly jako první.
Pro organizace poskytující měřítka hodnocení
11. Otevřeně poskytovat data a metody používané při výpočtu všech měřítek hodnocení.
12. Poskytovat data v rámci licence umožňující neomezené opětovné použití a tam, kde je to možné, poskytnout počítačový přístup k datům.
13. Dát jasně najevo, že nevhodná manipulace s měřítky hodnocení nebude tolerována, a výslovně uvést, co je podstatou nevhodné manipulace a jaká opatření budou proti ní přijata.
14. Při používání, shromažďování či porovnávání měřítek hodnocení brát v úvahu rozdíly v typech článků (např. recenze versus výzkumné články) a v různých tematických oblastech.
Pro výzkumné pracovníky
15. V rámci orgánů rozhodujících o financování či personálních otázkách hodnotit na základě vědeckého obsahu spíše než na základě publikačních měřítek.
16. Všude, kde je to vhodné, citovat namísto recenzí primární literaturu, v níž jsou daná pozorování oznámena poprvé, aby se tak uznání dostalo těm, kdo si je zaslouží.
17. Používat větší množství měřítek hodnocení článků a ukazatelů osobních a podpůrných vyjádření jako dokladů dopadu jednotlivých publikovaných článků a dalších výstupů výzkumu [11].
18. Zpochybňovat praktiky hodnocení výzkumu nevhodně založené na impakt faktorech časopisů a podporovat a učit osvědčené postupy zaměřené na hodnotu a vliv konkrétních výstupů výzkumu.