Hodný a zlý kafemlejnek

Nejdříve proč je kafemlejnek dobrý: máme mnoho dobrých vědců z oboru živé a neživé přírody na VŠ, kteří byli dlouhodobě neštastní z toho, že v jejich oborech nikomu moc nešlo o reálnou kvalitu výsledku VaV. K nim mimochodem patří i signatáři článku v LN. Nejen jim právem leží v žaludku neblahé vzpomínky na absurdity spojené např. s inst. financováním pomocí výzkumných záměrů způsobem ANO/NE. Navázání bodů a inst. peněz na impakt faktor časopisů byl pro ně (z vnitřniho pohledu jejich oborů) obrovským posunem kupředu s garancí, že to nikdo někde nahoře na škole či onde na MŠMT zase nějak rovnostářsky nezaonačí a nepřerozdělí. Díky kafemlejnku se také spousta "vědců" konečně probudila a zjistila (byla nucena), že nějaké impaktované časopisy existují, a že v některých z nich se publikuje to nejlepší, co se na světě podaří vyzkoumat. Někteří z nich ty zahraniční články dokonce začali číst a ti schopní do nich začali i psát (kromě těch, co tam z nějakého nadšení psali již dříve).

Proč je kafemlejnek špatný: protože se kromě vnitrooborové alokace peněz aplikuje i na další věci jako:
(a) alokaci podpory mezi velice různé obory a oborové skupiny (naprostý nesmysl)
(b) alokaci podpory mezi poskytovatele (nesmysl)
(c) alokaci podpory na základni aplikované výsledky (víme že to nejde rozdělit čárou)
(d) alokaci v oborech, kde nejsou jen články v impaktovaných časopisech
Další Podrobnosti jsou popsány v mém článku o kafemlejnku na Univerzitě Karlově.

Skalním přívržencům kafemlejnku, jako jsou autoři článku v LN, se proto nedivím. Ale v jejich okouzlení (navíc zrovna jejich oborům kafemlejnek náhodně tzv. dobře namlel peněz dost) nejsou ochotni jiné zásadní vady kafemlejnku přiznat. Na základě neblahých zkušeností z minulosti se teď celkem přirozeně bojí, že zrušení kafemlejnku jako celek bude znamenat i návrat do doby před pár lety, kdy zde vládla malá úcta ke skutečně kvalitním výsledkům VaV a vědce prudila příprava výzkumných záměrů, jako velkých grantů (dvojitá účelová podpora).

Daniel Münich

========================

„Kafemlejnek“ přinesl i pozitiva
Lidové noviny | 8.2.2012 | Rubrika: Medicína & Věda | Strana: 19 | Autor: Zdeněk Němeček, Bohuslav Gaš, Juraj Ševčík, Jaromír Leichman |

Děkani přírodovědných fakult předních českých univerzit reagují na diskuse o nutnosti pozměnit současnou metodiku hodnocení vědy a výzkumu.

Hodnotit výzkum je nesmírně náročné a neexistuje na to jednoduchá metoda. Před několika lety se u nás začalo s bodováním výsledků a dnes se zdá, že nás čeká další obrat v putování ode zdi ke zdi.
Financování výzkumných organizací na základě zhodnocení dosažených výsledků bylo jedním z pilířů reformy výzkumu: pokud má stát něco financovat,mělo by to přinášet výsledky. S tím nelze než souhlasit. Jak výsledky zhodnotit, je ovšem druhá věc – nový systém hodnocení se stal pro řadu chyb předmětem oprávněné kritiky. Kritizovat je ovšem snadné, zjednat nápravu těžší.

Používat přezdívku „kafemlejnek“ se už naučili i ti, kteří o problémech hodnocení výzkumu nevědí téměř nic, ale rádi se vozí na módních vlnách: dnes je v trendu říkat, jak je to vše špatně a půjde se to udělat celé znova a jinak. Z evropských fondů se to zaplatí, na ceně nezáleží, hlavně že to bude nové a světové. Podle těchto představ jakmile se toto zcela nové hodnocení zavede, zřejmě i ti, kterým starý kafemlejnek namlel málo, se dozvědí, jak jsou skvělí. Nedomníváme se, že je to pravda, a chceme zde s tímto přístupem polemizovat.

Čerstvý vítr
Především se nedomníváme, že „kafemlejnek“ přinesl jen negativa. Na řadě pracovišť měl mimořádně motivační efekt a tam, kde dlouhou dobu panovaly strnulé poměry („Ale pane kolego, vždyť se to tu vždycky dělalo takto...“), přinesl čerstvý vítr.

Mladé produktivní týmy najednou dostaly příležitost rozvinout svůj potenciál – a mnohdy zcela překvapivě expandovaly a staly se špičkovými centry. Je to koneckonců vidět i na výsledcích Mezinárodního auditu výzkumu. Audit sice náš systém hodnocení ostře kritizuje, nicméně českou vědu poměřuje stejně „primitivním“ způsobem jako kafemlejnek – sčítají publikace v mezinárodních časopisech.

Podíváme-li se na jejich časové řady, je vidět, že pracovištím, která bodový systém berou vážně (většina vysokých škol), roste vědecký výkon podstatně rychleji než těm, která nad ním ohrnují nos.
Třebaže s řadou tvrzení auditu lze s úspěchem polemizovat, jejich data stojí za pečlivé studium. Pokud chceme změnit systém hodnocení, je třeba říci, co bude v mezičase. Ve státech, které jsou nám v hodnocení vědy dávány za vzor, trval vývoj a odlaďování systému hodnocení mnoho let – v Británii s tím začali v roce 1986 a dodnes nejsou spokojeni a odlaďují dále.

I kdybychom se pečlivě snažili poučit z chyb ostatních, domnívat se, že u nás vyvineme a zavedeme nový a kvalitní hodnoticí systém během tří let, je iluzí. Co budeme dělat v mezičase?

Z nejvyšších pater politiky výzkumu teď občas zaznívá – zafixujme výzkumným organizacím rozpočty, než přijdeme na to, jak je správně hodnotit. Soucitný přístup k organizacím, které by v „ kafemlejnku“ neměly šanci uspět, může u někoho budit sympatie. Jak jej ale vysvětlit těm, díky jejichž vědecké produktivitě doháníme mezinárodní standard a kafemlejnek by jim umožnil expanzi? „ Možná že jste opravdu dobří, ale ještě si pět let počkejte, než to budeme umět spolehlivě změřit,“ to moc povzbudivě nezní.

Co do počtu „výzkumných“ organizací na milion obyvatel si sice můžeme dělat nárok na přední světové příčky, ne tak co do množství a kvality vědeckých výsledků na milion obyvatel. Nebylo by efektivnější nechat si u nás raději menší množství nejvýkonnějších organizací než ještě dlouhá léta uměle udržovat při životě stovky průměrných a podprůměrných?

Krok správným směrem
Třebaže je současný systém hodnocení nedokonalý, má schopnost se vyvíjet a průběžně korigovat své největší chyby. Poslední verze metodiky hodnocení, kterou loni schválila vláda, je lepší než ty předchozí a domníváme se, že verze, kterou loni připravila Rada pro výzkum a dala k připomínkování, je dalším krokem správným směrem. Mimo jiné odstraňuje paušalizaci v hodnocení knih a zcela novým způsobem se vypořádává s hodnocením aplikovaných výsledků – čímž jde vstříc i programovému prohlášení vlády.
Za hlavní přednost stávajícího systému ale považujeme transparentnost: na všechny bodované výsledky je „vidět“. Pokud někdo zašvindluje, možná si krátkodobě finančně přilepší, ale riskuje, že se na to přijde. A ztráta reputace se ve vědecké komunitě hojí mnohem hůře než finanční výpadek. Podobná transparentnost bohužel není k dispozici v systémech, kde se moudré komise radí za zavřenými dveřmi.

Třebaže je dnes právě v módě hlásání dalšího radikálního obratu, uvítali bychom, kdyby nová Rada pro výzkum v otázce hodnocení zvolila uvážlivý přístup.