Česky
V posledních letech se v diskusích o hodnocení českého výzkumu, vývoje a inovací (VaVaI) objevuje pojem „kafemlejnek“. Posměšně se jím označuje systém, v němž je každému výsledku (vědecké publikaci, knize, patentu…) přiřazen určitý počet bodů. Pro instituce, jež se zabývají VaVaI, dostávají na ně z veřejných prostředků podporu a vykazují výsledky, lze každoročně určit celkový počet takto vyprodukovaných bodů. Mělo by se tak objektivně ukázat, jak byla která instituce produktivní, a tato produktivita by se měla vzít v úvahu při rozdělování veřejných prostředků na další období.
Foto: Stanislava Kyselová, Akademický bulletin
Své postoje k hodnocení vědy vyjádřili vědci například při happeningu Vážení vědy na piazzettě Národního divadla (říjen 2009).
Systém vznikl z dobrého úmyslu získat nástroj k odlišení institucí, jež produkují cenné výsledky (publikace v mezinárodních časopisech, vědecké monografie, mezinárodní patenty), od organizací, které produkují spíše jen „informační šum“, bezcenné výzkumné zprávy a publikace v obskurních časopisech. Problémy ovšem nastaly, když se část institucionálních prostředků začala rozdělovat přímo úměrně k počtu dosažených bodů. Tehdy se objevil i termín „kafemlejnek“ jako označení systému, do něhož se nasypou výsledky a ty se automaticky „přemelou“ na body (a ty zase prostou trojčlenkou na peníze). Ukázalo se, že v tomto systému lze snadno nahradit kvalitu kvantitou, že je problematické srovnávat bodové hodnocení podobných výstupů (vědeckých publikací) v různých oborech, že bodové hodnocení aplikačních výstupů je arbitrární. U některých subjektů to vede k produkci „bodů pro body“, což nemá nic společného s původním bohulibým záměrem objektivizovat výzkumnou produktivitu.
V případě vědeckých publikací má „kafemlejnek“ zabudovaný mechanismus, který v principu preferuje kvalitní výsledky – bodové hodnocení se odvíjí od kvality a prestiže časopisu, ve kterém byly výsledky publikovány, a bere v úvahu i oborová specifika. Problém ovšem je, že počet bodů za publikaci v opravdu vysoce prestižním světovém časopise je stejný nebo i nižší než za několik publikací v podprůměrných časopisech, které se dají „vyrobit“ mnohem snáze. Je také těžké objektivně určit, zda například odborný článek v kvalitním chemickém mezinárodním časopise má mít obdobný počet bodů jako článek v kvalitním matematickém či sociologickém časopise („srovnávání hrušek a jablek“). Je dobré si ale uvědomit, že v „předkafemlejnkové“ době se často jako měřítko výzkumné produktivity používal prostě celkový počet publikací stylem „kus jako kus“, bez ohledu na to, jestli šlo o články ze světově prestižního časopisu nebo z Podbrdských rozhledů. To je určitě ještě horší než „kafemlejnek“!
Přiznávám, že vznik „kafemlejnkového“ systému mám do značné míry na svědomí. V letech 2003–2005 jsem totiž byl předsedou jedné ze tří poradních komisí při tehdejší Radě pro výzkum a vývoj (RVV). V komisi pro oblast věd o živé přírodě a chemických věd tehdy působili mnozí význační vědci (Pavel Hobza – místopředseda, Michal Anděl, Milan Elleder, Josef Fulka, Jan Krekule, Michal Marek, Bohuslav Ošťádal, Václav Pačes, Blanka Říhová, Vladimír Viklický, Kamil Wichterle, Jan Zrzavý). Komise považovala za prioritu vypracovat návrh systému hodnocení kvality a produktivity výzkumných institucí. V té době totiž snahy o objektivizované hodnocení vědeckých institucí narážely na názory typu „my přece sami víme, kdo je dobrý“, případně „kvalitu vědecké práce hodnotit z principu nejde“; téměř všechny grantové projekty končily hodnocením „vynikající výsledky na světové úrovni“.
Výsledkem byl v roce 2004 návrh podobný současnému „kafemlejnku“, který přiřazoval body za publikace v závislosti na impaktovém faktoru příslušného časopisu normovaném „oborovým koeficientem“ založeným na třídění v informačním systému Web of Science. Od počátku bylo zřejmé, že existuje problém, jak ohodnotit aplikační výsledky, knihy a monografie, prezentace na významných konferencích (některé obory je považují za důležitější než časopisecké publikace), výsledky v humanitních oborech (výstavy a další podobné prezentace). Vzniklo postupně několik verzí návrhu, které sice předpokládaly vazbu mezi kumulativním počtem bodů a přídělem financí, ale upozorňovaly i na nutnost konečného „moudrého zhodnocení“ získaných údajů (kontrolu, zda nedochází k nějakému účelovému zneužívání systému, podvodům), ale také na nutnost vzít v úvahu „strategické“ aspekty (například cílenou selektivní podporu nově vzniklých institucí).
Jak nakonec návrhy definitivně dopadly, již mnoho nevím – na členství v komisi jsem rezignoval počátkem roku 2005 na protest proti postupu RVV v ostudné záležitosti Výzkumných záměrů vysokých škol, ukázkově zpackaných tehdejším Ministerstvem školství, mládeže a tělovýchovy. Jisté je, že systém přijatý na základě návrhu naší komise zprvu fungoval docela dobře – identifikoval instituce, které nevyprodukovaly téměř žádné reálné výsledky. Jakmile se ale systému zmocnili úředníci, kteří v něm našli jakýsi zázračný „objektivní“ nástroj, který z nich sejme zodpovědnost za rozhodování, a začalo se s přidělováním části institucionálních prostředků přímým převodem „kafemlejnkových“ bodů, vyjevily se zásadní problémy: špatná souměřitelnost různých oborů; nevhodnost systému pro některé obory (humanitní, technické, matematika), v nichž není nutné zveřejňovat výsledky publikováním v mezinárodních časopisech nebo ve kterých je korelace impaktových faktorů časopisů s „kvalitou“ problematická; snadné zneužití systému účelovou produkcí aplikačního balastu. Jako další zásadní problém se ukázalo použití přímé úměry mezi (problematickými) body a přidělovanými financemi a faktická stimulace výzkumníků k produkci (pod)průměrné kvantity na úkor skutečné kvality.
Přiznejme však, že na některých pracovištích měl „kafemlejnkový“ systém zjevně pozitivní efekt – zvýhodnil produktivní týmy na úkor týmů, které dlouhodobě produkovaly jen balast, jenž ani v „kafemlejnku“ nezabodoval. Vedoucím těchto pracovišť tak výsledky poskytly vítané „alibi“ k reorganizaci pracovišť.
Na zásadní vady „kafemlejnku“ poukázal nedávný audit, který provedla mezinárodní organizace Technopolis: „Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele.“
I kdyby existoval teoreticky „ideální“ kafemlejnek, který by spravedlivě oceňoval dosažené výsledky a neměl by výše uvedené problémy (což je zřejmě nemožné), bylo by problematické převádět tyto „spravedlivé“ body přímou úměrou na peníze a zohledňovat i poměrně malé bodové rozdíly. Určitý smysl by takový systém asi měl pro odhalení skutečně velkých (násobných) rozdílů, které by indikovaly reálné rozdíly v produktivitě posuzované jakýmkoli způsobem.
Nynější nedokonalý systém jistě funguje pro odhalení nejhoršího „suchého dřeva“, avšak nikoli pro identifikaci kvalitativních špiček a má tendenci odměňovat méně náročnou velkoobjemovou produkci průměrných či podprůměrných výsledků. Tisíc bodů za několik článků v nejprestižnějších světových časopisech je určitě mnohem cennější než stejný počet bodů za několikanásobně více článků v časopisech průměrných či ještě horších. Nynější systém je užitečný i pokud jej použijeme jako podklad pro srovnávání produktivity oborově blízkých pracovišť, a to ve velkých přírodovědeckých oborech (například různých ústavů či kateder zaměřených na molekulární biologii), v nichž jsou hlavním výstupem vědecké publikace v mezinárodních časopisech. Avšak i v tomto případě může docházet ke zkreslení typu „kvantita místo kvality“ – potřebné je tedy kvalifikované zhodnocení těchto podkladů.
Musíme si uvědomit, že i při použití solidního systému hodnocení základního výzkumu metodou „peer review“ využívají nezávislí odborní hodnotitelé v podstatě jakýsi „kafemlejnek“ – vyhodnocují především kolik a jak kvalitních odborných článků (posuzováno do značné míry podle impaktového faktoru časopisu) hodnocený subjekt vyprodukoval. „Kafemlejnkový“ systém může posloužit při rozumném použití jako užitečný, avšak nikoli absolutní nástroj.
Nevhodný je u oborů, v nichž má publikace v „impaktových“ časopisech relativně malý význam. Arbitrární kvantifikace různých výstupů například aplikovaného výzkumu nebo výzkumu v humanitních oborech může vést až k směšným absurditám (viz úvahy přidělovat uměleckým vysokým školám body například podle velikosti namalovaných obrazů nebo délky komponovaných skladeb…). Upřímně řečeno nevím, jak by se měla objektivně hodnotit kvalita a produktivita aplikovaného výzkumu a vývoje – jako samozřejmost asi každého napadne prokazatelná ekonomická návratnost; ta se ale zpravidla ukáže až po mnoha letech.
Závěrem – ano, skutečně jsem se významně podílel na vypuštění „kafemlejnkového džina“ z láhve, ale nijak se za to nestydím. I zde platí, že „všechno zlé je k něčemu dobré“. Jsem totiž přesvědčen, že někdejší návrhy naší poradní komise otevřely důležitou otázku, jak hodnotit kvalitu a produktivitu výzkumu, že vedly k opuštění ještě horšího stavu absence jakéhokoli hodnocení, respektive sčítání publikací „kus jako kus“, a že po zjištění, že primitivní použití „kafemlejnku“ je slepou uličkou, vbrzku dospějeme k něčemu lepšímu.
VÁCLAV HOŘEJŠÍ,
Ústav molekulární genetiky AV ČR, v. v. i.