V poslední době nabývají na intenzitě diskuse o reformě oblasti výzkumu a vývoje (VaV), o počtu poskytovatelů podpory VaV, o hodnocení výsledků VaV, o efektivitě vynaložených prostředků vzhledem k dosahovaným výsledkům a o postavení české vědy a výzkumu v mezinárodním kontextu.1 Vzhledem k tomu, že podpora zvyšování vědecké výkonnosti a posilování excelence je jedním z hlavních úkolů AV ČR a jejích pracovišť, je přirozené, že se o tyto otázky vedení AV ČR zajímá. Jeden člen současné Akademické rady se zabývá speciálně problematikou hodnocení vědecké výkonnosti a souvisejících koncepčních problémů.
Ačkoliv to skrývá několik systémových problémů, využívá se k analýze měřitelné vědecké výkonnosti parametrů (indikátorů) databáze vědeckých prací Web of Science (WoS) provozované společností Thomson Scientific. Na tomto místě je třeba připomenout, že ve více současných diskusních příspěvcích2 se o ní hovoří jako o veřejně přístupné databázi se zřejmou konotací, že se jedná o objektivní data (to jsou zcela určitě), a zejména že jejich výběr do databáze WoS je nezávislý na různých vlivech (to už je trochu problematické). Ve skutečnosti jde o databázi komerční a její provozovatelé ji udržují za účelem zisku jako jeden z nejsilnějších subjektů na trhu s vědeckými informacemi3. Ač má zdatné a přibývající konkurenty (např. vycházející hvězda SCOPUS společnosti Elsevier), přece jen je vzhledem ke svým propracovaným nástrojům pro analýzy vědecké výkonnosti zatím nejužívanější. Je také základem a kostrou Metodiky hodnocení VaV naší Rady pro výzkum a vývoj (RVV)4 a na tuto databázi se také odvolává řada nejen zde citovaných příspěvků. V následující části se proto budeme věnovat rozboru indikátorů z této databáze souvisejích s AV ČR.Na začátku svého funkčního období v roce 2005 zadala Akademická rada formou zakázky analytické skupině Thomson Scientific (tedy zcela nezávisle na aktivitách RVV) požadavek na posouzení vědecké výkonnosti a podílu AV ČR v rámci VaV v ČR a na novelizovanou analýzu scientometrických údajů (indikátorů – počet prací, počet citací, citační index a relativní citační index) za období posledních 5 a 10 let, tj. 2000–2004, resp. 1995–2004. Tato analýza ukázala vzestupný trend měřitelné (v použitých indikátorech) výkonnosti AV ČR a ve stručnosti ukázala skutečnost, že AV ČR, která reprezentuje přibližně 25 % přepočtených pracovníků (FTE) v oblasti VaV v ČR, má přibližně 43% podíl (počet publikací) a 51% citační odezvu v rámci celé ČR. Tato analýza sloužila jako interní materiál AV ČR a zveřejněna nebyla, potvrdila však, že AV ČR je velmi významnou součástí oblasti VaV v ČR – samozřejmě by bylo smutné, kdyby vzhledem ke svému poslání nebyla.
Málokde je však posun tak rychlý a prostředí tak kompetetivní jako v oblasti vědy a výzkumu, a to i "v českém rybníčku", řečeno termínem rektora UK V. Hampla v jeho článku v časopise UK Forum. Údaje v tomto článku, ač správné, by mohly bez bližšího pohledu zkreslovat pohled na postavení AV ČR v systému VaV v ČR. Z toho důvodu a také pro upřesnění analýzy současné vědecké výkonnosti AV ČR je v dalším textu proveden rozbor scientometrických indikátorů s vysvětlujícím a dle našeho názoru korektním komentářem zachycujícím související aspekty.
Vzhledem k tomu, že se od doby zmíněné analýzy z roku 2005 podstatně rozšířily analytické nástroje WoS, lze příslušné dotazy zadávat přímo a v řadě případů odpověď doložit snímkem obrazovky. Následné grafy jsou generovány z dat poskytnutých WoS, jejich číselnou tabulkovou podobu naleznete zde nebo u analytické skupiny Knihovny AV ČR. Analyzováno bylo období 1997–2006 (nebyla zahrnuta část produkce roku 2007).
Nuže, jak velký je datový soubor, čili kolik publikací je zachyceno ve WoS v období 1997–2006? Je to 56 562 záznamů a jejich rozložení mezi 25 institucemi ukazuje obr. 1 na str. 5 získaný z WOS po zadání dotazu s adresou ČR. Graf je zajímavý hned z několika hledisek.
1. Pro AV ČR je nejdůležitější údaj, že její produkce v ČR činí 37,5 %. To je o 5–6 % méně, než tomu bylo v analýze tohoto indikátoru za období 1995–2004. Znamená to však, že vědecká výkonnost AV ČR klesá? Nikoliv. Je tomu tak proto, že celková produkce publikací v ČR prudce stoupla z velmi nízké hodnoty 4200 v roce 1997 na 7500 v roce 2006 (obr. 2), a tudíž se relativní výkonnost AV ČR vzhledem k celému souboru snížila. (To je podstatou obr. 2 v článku V. Hampla.) Pohled na náš obr. 2 ukazuje, že během posledních 10 let se indikátor počtu prací AV ČR ve WoS stále zvyšuje. Nárůst za sledované období činí necelých 50 %. I zde je zajímavé srovnání produkce počtu publikací, tentokrát v absolutních číslech (obr. 3). Je zřejmé, že i v případě UK se počet publikací pravidelně zvyšuje; nárůst činí rovněž kolem 50 % za 10 let a charakter křivky je velmi podobný.
2. Z obr. 1 je také zřejmé, že podíl publikační produkce UK ve sledovaném období činí téměř 25 %. (V článku V. Hampla se hovoří o ročním třetinovém podílu v celé ČR, ale křivka na obr. 2 v jeho článku svědčí vskutku pro oněch asi 25 %). To nic nemění na skutečnosti, že UK je jedním z nejvýznamnějších producentů vědeckých publikací v ČR.
3. V obr. 1 je také zřejmý rozsah různých mezinárodních spoluprací, protože po zadání dotazu se objeví i spolupracující zahraniční instituce, zde např. Slovenská akademie věd, Ruská akademie věd, University v Paříži 06 a 07 a podobně. Rovněž lze soudit i na případnou neúplnost souboru, která souvisí s různým způsobem zadávání názvů institucí, uváděním neúplné adresy pracoviště apod. (Např. v případě AV ČR představují záznamy se zkratkami ASCR a AS CR asi 1,9 %.) Takové nesrovnalosti se týkají i dalších institucí a přinejmenším varují před nekritickým zpracováním údajů z databáze.
4. Lze také přesněji stanovit rozsah dokumentovatelné spolupráce mezi pracovišti AV ČR a UK. Hamplův odhad (cca 20 %) zhruba odpovídá údajům z WoS (23 %, 3295 společných publikací). Jedná se ovšem o pohled z hlediska UK. Při opačně zadaném dotazu, tedy z pohledu AV ČR, je společných prací absolutně samozřejmě stejně, ale jejich podíl na produkci AV ČR je nižší a činí asi 15 %.
Počet publikací registrovaných WoS však vypovídá jen málo o tom, zda byl publikován kvalitní výsledek, bezcenný produkt grafomanie či v různé míře kombinace obojího (je mnoho příkladů publikování výsledků "salámovou" metodou, drobením na nejmenší publikovatelné jednotky). Za obraz kvality práce se pokládá citovanost a databáze WoS ji umí analyzovat. Ač i tento parametr má svoje problémy a nedostatky5, přece jen něco vypovídá o kvalitě vědeckého výsledku. Obecně indikátor citovanosti klesá se zmenšujícím se časovým odstupem od současnosti. Obrovské rozdíly citačních cyklů a zvyklostí jsou také mezi obory. Lze však doložit, že u většiny oborů se kolem 10 % citací objevuje ještě po 10 letech. Velké soubory dat v dostatečně dlouhé časové řadě ukazují zajímavé souvislosti.
Obr. 4 ukazuje v absolutních hodnotách podíl tohoto indikátoru u AV ČR v rámci celé ČR. Zejména pro oblast před charakteristickým poklesem křivky pro tento indikátor v roce 2001 potvrzuje údaj z předchozí analýzy – AV ČR se podílí i na tomto indikátoru téměř 50 %. Obr. 5 tomu odpovídá a dokládá významný podíl UK na indikátoru citovanosti v rámci celé ČR. Ostatní instituce by se v daném rozlišení grafu téměř neobjevily.
Zajímavým parametrem je rovněž průměrný počet citací na jednu publikaci sledovaného období. Obr. 6 ukazuje, že publikace pocházející z AV ČR je citována poněkud více, asi o 2 nad průměr ČR. Obdobný výsledek dává i srovnání průměrného počtu citací produkce UK a AV ČR (obr. 7), rozdíl je však minimální a vezmeme-li v úvahu i prakticky čtvrtinu společných publikací obou institucí, pak není pochyb o tom, že hodnota tohoto indikátoru je u obou institucí v ČR nadprůměrná. Na podobné závěry ukazují i obr. 8 a 9, které údaje z předcházejících grafů vyjadřují poněkud jinak, a to relativní citovaností, kdy hodnota pro ČR je vzata jako 100 %. Pak je zřejmé, že hodnota pro AV ČR se pohybuje kolem 130 %, přičemž hodnoty pro UK a AV ČR se většinou pohybují v úzkém pásmu nad hodnotou pro ČR (bez ohledu na poněkud rozkolísaný průběh křivky u UK).
V článku V. Hampla se také objevuje obr. 3 Produktivita výzkumných institucí v ČR v letech 2001–2005. Ta je zde měřena počtem prací ve WoS vztaženým k dotaci na akademického pracovníka. V předcházejícím textu jsme v podstatě s vývody V. Hampla mohli souhlasit, spíše jsme se snažili o jejich zpřesnění a vysvětlení některých aspektů souvisejících s vědeckou výkonností. V případě takto měřené produktivity však souhlasit nemůžeme. Jedná se o závažnou skutečnost, na kterou zástupci Akademie opakovaně upozorňují. Obr. 3 v časopise Forum totiž naznačuje, že v AV ČR sice vzniklo v daném období téměř nejvíce prací na vědeckého pracovníka, ale za daleko nejvyšší dotaci. Graf obsahuje dva problémy: technický a koncepční. Především nebyl správně stanoven počet pracovníků AV ČR produkujících tyto výsledky, a to o 10 %6. To však je pouhá technická chyba. Daleko závažnější jsou negativní konotace, které mohou vzniknout při pohledu na náklady vynaložené na produkci těchto publikací a ze kterých je možno se domnívat, že vědecká práce v AV ČR je drahá, a činnost AV ČR je tedy neefektivní (jak s oblibou uvádějí někteří kritici Akademie věd). Odtud je již jen krok k závěru, že zrušením AV ČR se zlevní věda a výzkum v ČR. Je opravdu práce vědce například Biologického centra AV ČR v Českých Budějovicích a vědce Biologické fakulty Jihočeské univerzity pracujících namnoze vedle sebe v jedné laboratoři různě drahá? To by samozřejmě bylo velmi podivné. Systémový problém je v tom, že v podobných rozborech, jaký ukazuje V. Hampl, nejsou univerzitám započteny všechny prostředky použité ke vzniku těchto publikací (například většina mezd), zatímco AV ČR jsou započteny prostředky všechny (všechny veřejné finanční zdroje AV ČR jsou z rozpočtu na VaV). K částečné nápravě této závažné disproporce dojde tím, že v připravované Metodice 2007 RVV pro hodnocení VaV se univerzitám k nákladům připočtou prostředky na specifický výzkum. To je správný krok k realistickému posouzení skutečných nákladů, ale podle našeho názoru by těch kroků mělo být více.
Jaké závěry z této analýzy vyvodit? Především je znovu nutné upozornit, že jde o data jediné databáze o vědeckých informacích, jež nepostihuje rovnoměrně všechny obory. Proto také nejsou z velké většiny zachyceny práce v oborech společenských a humanitních nauk, které do WoS prakticky nepřispívají. Správně píše V. Hampl, že tyto výsledky potom v podobných rozborech "ředí" parametry těm, kteří z povahy své vědecké práce do WoS přispívají. A AV ČR podobně jako UK má významné segmenty svého výzkumu soustředěny právě v těchto oborech. Neznamená to však, že by výsledky ve společenských a humanitních oborech byly méně významné.
Samozřejmě chybí další indikátory, např. analýza kvality časopisů měřené jejich IF, tedy v jak kvalitních časopisech se naši autoři uplatňují. Nepadlo také ani slovo o analýzách stavu VaV v ČR a jejich srovnání se zahraničím, jež každoročně sestavuje RVV, a o jejich porovnání s výše uvedenými rozbory. Zajímavý by např. byl rozbor počtů prací z WoS a jiných publikací u různých institucí. Chybí také porovnání vložených prostředků, ať veřejných či soukromých, s těmito indikátory a posouzení, zda výše prostředků (lépe jejich nárůst) koreluje s nárůstem indikátorů. Není také vzat v úvahu počet pracovníků tvořících tyto výsledky, ač je to jistě důležité.
Petr Ráb,
Ivana Kadlecová
Poznámky
1 P. Fiala, Český stát brzdí univerzity
16. 6. 07, Lidové noviny
"Dobře lze tuto situaci doložit na příkladu financí pro výzkum a vývoj. Peníze se zde rozdělí mezi více než dvacet resortů (poskytovatelů), kde část z nich často zmizí jako v černé díře. Nejsou to ovšem vysoké školy, které na tom mají vinu, protože právě ony dokáží prostředků, které se k nim nakonec dostanou, využít nejlépe a produkovat největší množství výsledků prakticky ve všech sledovaných kategoriích."
1 V. Hampl, Vědu a výzkum můžeme hodnotit z různých úhlů. Forum – časopis UK 2/07, 11–14
1 J. Zrzavý, Česká věda: hledá se politik, ne přeučený výzkumník, 13. 7. 07 HN
1 J. Rákosník, Bádání nepořebuje reformu, spíše peníze. HN 18. 7. 07
2 Např. J. Berger, 6. 6. 07, MF Dnes
3 Málokdo ví, že poplatek ČR za vstup do WoS činí za pětileté období zhruba 120 mil. Kč, které platí přibližně z 33 % konsorcium vysokých škol a AV ČR a větší podíl je financován z prostředků programu MŠMT 1N, a že smlouva o poskytování přístupu do WoS končí v roce 2008.
4 Je pozoruhodné, že se v názvu tohoto orgánu ani v celém textu zákona 130/2002 Sb. neobjevuje slovo věda a není pochyb, že tento symptomatický jev je projevem neporozumění úloze vědy v moderní demokratické společnosti. Srov. např. komentář o stavu britské vědy v Nature 447, 7142 ze 17. 5. 07, str. 231.
5 Toto téma velmi kvalifikovaně rozebírají V. Pravda a M. Křížek v článku Citace: dobrý sluha, špatný pán. Pokroky matematiky, fyziky a astronomie, 2007, 52: 28–36.
6 Graf uvádí průměrný počet 2,7 práce na pracovníka, ale při počtu 11 083 prací za těchto 5 let by byl výchozí počet pracovníků 4105. Průměrný počet pracovníků je ale 3689. Průměrný počet publikací za jeden rok na jednoho pracovníka je tedy 3.
English
