Čtenáře Akademického bulletinu jistě není nutné přesvědčovat o tom, že věda je motorem rozvoje společnosti a že cílem každé země, a zvláště takové, jako je ta naše, by měla být maximální snaha o podporu toho nejkvalitnějšího vlastního výzkumu a vývoje (VaV). Problémem však je, jak tuto kvalitu hodnotit a jak investovat do toho skutečně nejlepšího.
Tento problém je zvláště významný v případě základního výzkumu, který nemá bezprostřední komerčně zhodnotitelné výstupy. Dlouhodobé zkušenosti z nejvyspělejších zemí ukazují, že kvalitu základního výzkumu mohou zhodnotit především výzkumníci a že nejlepším měřítkem této kvality bývá citační odezva vědeckých publikací popisujících nové skutečnosti. Jinými slovy, kvalitní výzkumné práce nezapadnou, ale jsou východiskem pro práci dalších badatelů, kteří tyto práce citují v následných publikacích. Na citačních ohlasech prací je založeno hodnocení kvality časopisů podle takzvaných impakt faktorů (IF). Obecně panuje shoda, že časopisy s vysokým IF jsou průkopnické, které přijímají pouze vědecké práce s vysokým inovačním nábojem, a publikovat v nich je prestižní záležitostí, neboť rukopisy recenzují na nejpřísnější mezinárodní úrovni špičkoví odborníci v daném oboru. Nepřekvapuje proto, že mezi korespondenční autory článků v tak kvalitních časopisech, jakými jsou např. Science (aktuální IF = 30,028) nebo Nature (IF = 26,681), patří jen málo českých vědců.Požadavek na aktuální porovnání kvalit výstupů vědeckých týmů se promítl do scientometrické praxe v řadě výzkumných pracovišť, na kterých byly vypracovány poměrně solidní postupy, jež berou v úvahu například nejen kvalitu časopisu (měřenou IF), ale také podíl autorů pracoviště na konkrétních publikacích; to je zvláště důležité u týmových prací, na jejichž realizaci se podílí řada pracovišť. Rovněž se oceňuje, zda z hodnoceného pracoviště je první anebo korespondující autor, kteří obvykle mívají větší zásluhu na práci než ostatní členové autorského kolektivu (viz např. AB 02/1998). Tato scientometrická kritéria jsou významným podkladem pro hodnocení pracovních kolektivů, ale nikdy nejsou (neměla by být) považována za jediná (absolutní) kritéria, jež rozhodují o osudu vědců. Nemohou totiž nahradit proces hodnocení kolektivem odborníků, kteří vezmou v úvahu všechny další faktory, jež nelze postihnout scientometrickými údaji, a kteří případně odstraní chyby, jimiž mohou být scientometrické metody zatíženy.
Ve snaze o objektivitu hodnocení VaV v ČR vypracovala meziresortní pracovní skupina, složená ze zástupců Rady pro výzkum a vývoj (RVV), Ministerstva školství, mládeže a tělovýchovy, poskytovatelů podpor VaV, vysokých škol, průmyslové sféry a Akademie věd ČR, Metodiku hodnocení výzkumu a vývoje a jejich výsledků v roce 2007 (MHVVV07). Hodnocení se provádí na základě usnesení vlády ze dne 23. 6. 2004. Jak se uvádí v MHVVV07, cílem bylo získat "ucelený soubor informací o efektivnosti využití státních prostředků na VaV u jednotlivých příjemců (institucí) a u jednotlivých poskytovatelů (resortů)" a dále "vytvořit systém, který bude podkladem RVV pro provádění změn rozdělení prostředků na VaV, které má RVV každoročně promítat do návrhu výdajů na výzkum a vývoj na další rok". Metodiku hodnocení výsledků shrnuje tabulka Bodové ohodnocení jednotlivých druhů výsledků, která je přílohou č. 3 výše zmíněného dokumentu.
Přípravu metodiky pro hodnocení VaV je nutno samozřejmě přivítat a je jistě žádoucí, že se touto záležitostí Rada vlády dlouhodobě zabývá. Jedná se o nesmírně náročný úkol, kdy se vedle sebe srovnávají a bodově hodnotí tak odlišné výstupy, jakými jsou např. výstupy společensko-vědních a přírodovědných institucí. Navíc je snaha srovnat téměř nesrovnatelné – výstupy ve formě článků v impaktovaných a nerecenzovaných časopisech, knih a jejich dílčích kapitol, příspěvků ve sbornících, patentů, zavedení poloprovozů, ověřených technologií, přípravy nových plemen a odrůd, zavedení prototypů, uplatněných metodik, funkčních vzorků, autorizovaných softwarů a užitných a průmyslových vzorů. Mezirezortní pracovní skupina nakonec dospěla ke konsensu, jak by takové bodové ohodnocení mělo vypadat, a to je shrnuto v již zmíněné příloze č. 3. Chybí však prověření, zda toto bodové hodnocení v zásadě odpovídá požadavkům na hodnocení kvality výstupů VaV a zda je lze využít pro hodnocení na úrovni jednotlivých pracovišť a menších organizačních celků. Již při prvním náhledu na toto hodnocení je patrné, že přináší značné problémy, které lze dokumentovat následujícím příkladem.
Představme si zjednodušenou situaci, že budeme srovnávat bodovou úspěšnost dvou pracovišť základního výzkumu, která v hodnoceném období získala po jedné publikaci v mimořádně kvalitním impaktovaném časopise, a že pro toto hodnocení použijeme MHVVV07. Předpokládejme dále, že finanční prostředky použité na výzkum byly u obou pracovišť srovnatelné a že obě jsou ve stejné skupině – Biovědy. Bodové hodnocení se vypočte podle vztahu uvedeném v tabulce přílohy č. 3 MHVVV07: 5 + (15 x IF časopisu/medián IF oboru). Aktuální hodnotu IF konkrétního časopisu a oborového mediánu lze zjistit na stránkách ISI Web of Knowledge.
Vstupní údaje pro pracoviště 1:
Publikace: Xien, P., Oien, Z., Hien, L., Opai, A., Novak, P., Huean, X.*, Nature, 151: 204–301, 2006 (IF = 26,681), oborový medián časopisu = 0,466.
Vstupní údaje pro pracoviště 2:
Publikace: Dvořák, L.*, Nature Immunology 2006 (IF = 27,596), oborový medián časopisu = 2,513.
(Autor s uvedenou afiliací k hodnocenému pracovišti je tučně, korespondenční autor je označen hvězdičkou.)
Při hodnocení podle metodiky MHVVV07 dospějeme k těmto bodovým hodnocením:
Pracoviště 1: 864 bodů
výpočet: 5 + (15 x 26,681/0,466)
Pracoviště 2: 170 bodů
výpočet: 5 + (15 x 27,596/2,513)
Závěr, který z tohoto bodového hodnocení vyplývá, je, že pracoviště 1 má podstatně vyšší publikační výkonnost (+ 694 bodů) a mělo by být přednostně financováno. Z pohledu pracovníka v oboru je však na první pohled zřejmé, že toto bodové hodnocení je hrubě zkreslující, neboť příspěvek pracoviště 2 je již na první pohled ze scientometrického hlediska podstatně významnější. Problém spočívá v tom, že (1) oborový medián IF nemusí odpovídat realitě. Nature, stejně jako Science a například i Proc. Natl. Acad. Sci. USA (aktuální IF = 9,643) jsou zařazeny mezi časopisy "mezioborové", které mají v průměru nižší IF (Nature, Science a Proc. Natl. Acad. Sci. USA jsou mezi nimi výjimkami). Na druhé straně, vysoce kvalitní časopis Nature Immunology je zařazen mezi časopisy imunologické, které mají v průměru vyšší IF, a to je při hodnocení pomocí MHVVV07 významně znevýhodňuje. (2) Daleko závažnější problém však spočívá v tom, že do hodnocení se nebere v úvahu podíl autorů hodnoceného pracoviště na publikaci. V publikaci pracoviště 1 se jedná spíše o minoritní příspěvek pracoviště k publikaci, kdy první ani korespondující autor nejsou členy hodnoceného pracoviště a hlavní zásluhu na práci má jiné než hodnocené pracoviště. V případě publikace z pracoviště 2 se naopak jedná o plnohodnotnou práci hodnoceného pracoviště, ze kterého je jak první, tak i korespondenční autor (v jedné osobě).
Zarážející na předkládaném hodnocení je, že pracovní skupina pro přípravu MHVVV07 nevyužila zkušeností, které vyplynuly z několikaletého používání scientometrických metod na některých pracovištích základního výzkumu; viz například již zmíněný příspěvek v AB 02/1998. Podle této metodiky (Metodika ÚMG) se vypočtou "publikační body" následovně: (IF/n + 2) * y, kde n = počet autorů na publikaci a y = počet autorů publikace z hodnoceného pracoviště navýšený o +1, pokud je první nebo korespondenční autor z hodnoceného pracoviště, nebo navýšený o + 2, pokud je první a korespondující autor z hodnoceného pracoviště. Při tomto hodnocení dopadne bodový zisk obou výše uvedených pracovišť následovně:
Pracoviště 1: 3,34 bodu
výpočet: (26,681/8) x 1
Pracoviště 2: 27,6 bodu
výpočet: (27,596/3) x 3
Z tohoto bodového hodnocení vyplývá, že pracoviště 2 má podstatně vyšší (8x) publikační výkon a mělo by být přednostně financováno. Toto hodnocení je ze scientometrického hlediska užitečnější než hodnocení založené na metodice MHVVV07.
Zkušenosti ukázaly, že ani při tomto druhém způsobu hodnocení nemá hodnocení absolutní vypovídací hodnotu a nemůže nahradit práci hodnotitelského grémia, jež je složeno z odborníků, kteří využijí bodového hodnocení jako důležitého, ale nikoliv absolutního kritéria pro rozhodování o financování jednotlivých pracovišť. Jistě by bylo chybou, kdyby např. v rámci "taktizování" pro aplikaci MHVVV07 došlo k "utrácení peněz" za neuplatnitelné domácí nebo dokonce mezinárodní patenty (s velkým bodovým ziskem) a v institucích základního výzkumu by klesl tlak na publikování v prestižních mezinárodních časopisech. Tato fatální chyba by nás v horizontu několik let mohla vyřadit z úspěšnosti v získávání grantů v prestižních mezinárodních soutěžích.
Bodové hodnocení výsledků VaV ve formě poloprovozů a dalších ekonomicky zhodnotitelných výstupů, jak je uvedeno v příloze č. 3 MHVVV07, je rovněž spojeno s určitým problémem. Je totiž dobře známa skutečnost, že jen malá frakce těchto výstupů je skutečně kvalitních a přináší ekonomický užitek. Pokud nedojde k jejich komerčnímu zhodnocení, popřípadě nejsou publikovány v kvalitních recenzovaných časopisech, mohou být jako výstupy bezcenné. Přidělení bodů za tyto výstupy je nutno považovat za zajímavý experiment, který doposud nebyl ověřen, a jistě bude zajímavé zjistit, zda existuje korelace mezi přidělenými body a ekonomickými dopady těchto výstupů. Určitý optimismus je namístě; ze zkušenosti s aplikací scientometrických metod v oblasti základního výzkumu vyplynulo, že pracoviště, která mají vysoké bodové hodnocení pomocí scientometrických metod založených na IF, mají obvykle vysoké hodnocení při skutečné analýze citačních ohlasů prací. I při citační analýze prací je však nutno přihlédnout k povaze publikací, zda vysoce citované práce jsou skutečně výsledkem produkce pracoviště nebo spíše reflektují kvalitu jiných pracovišť s minoritním podílem hodnoceného pracoviště.
Metodiku MHVVV07 je nutné v této etapě považovat za pokus o objektivizaci vědy, ale nikoliv za již ověřený nástroj, který i neodborníkovi s kalkulačkou v ruce umožní udělat závěr o pracovišti. Finální verdikt by měl být vždy na úrovni odborníků hodnotitelského grémia, kteří by měli mít jako podklad k hodnocení nejen vhodně zpracované scientometrické/bodové údaje, ale také podklady, které byly použity pro toto hodnocení, aby bylo zřejmé, odkud plynou hlavní bodové zisky hodnoceného pracoviště, zda se jedná o skutečně významné vlastní výsledky nebo o marginální příspěvky jiným pracovištím.
Mohlo by se zdát, že problémy, které z výše uvedeného příkladu vyplývají, jsou spojeny s aplikací MHVVV07 na malé soubory dat a že při použití větších souborů, například při hodnocení celých ústavů, bude chyba zanedbatelná. Tento předpoklad však nemusí odpovídat realitě, neboť uvedený nesmyslný rozdíl 694 bodů ve prospěch pracoviště 1 by musel být na pracovišti 2 kompenzován více než 50ti publikacemi v impaktovaných časopisech o průměrném IF = 1 (za předpokladu oborového mediánu 2). Pokud by se měla kompenzovat zvýšená kvalita publikací pracoviště 2 (vypočtená podle Metodiky ÚMG), pak by rozdíl podle metodiky MHVVV07 představoval až 450 publikací s IF = 1. To není zanedbatelné. Stejně tak může být zavádějící udělit pracovišti 500 bodů za pouhou minoritní spoluúčast jednoho pracovníka hodnoceného pracoviště na mezinárodním patentu s mnoha spoluautory.
Z výše uvedených příkladů vyplývá, že MHVVV07 by měla být doplněna o parametr, který bere v úvahu počet autorů výsledku z hodnoceného pracoviště a afiliaci prvního a korespondujícího autora. To by odstranilo nejen některé z výše uvedených problémů, ale také například řešilo i to, že za jeden výsledek kolektivní práce několika institucí nebudou mít stejné počty bodů všechna zúčastněná pracoviště bez ohledu na jejich podíl na výsledku. Tato modifikace by neměla činit problém, neboť v databázích vstupních informací pro hodnocení podle MHVVV07 jsou tyto údaje dostupné a jedná se pouze o úpravu výpočetního algoritmu.
Lze jen doufat, že MHVVV07 je mezistupněm v hledání nových objektivizujících přístupů k hodnocení VaV a jejich výsledků, které budou dále dopracovány tak, aby přispěly ke zkvalitnění české vědy a výzkumu.
Petr Dráber,
Ústav molekulární genetiky AV ČR, v. v. i.
English
