Více než rok žila Akademie věd ČR komplexní evaluací svých pracovišť. V zimních měsících na začátku tohoto roku se uskutečnilo prezenční hodnocení v ústavech, jímž vrcholí „sumativní“ období této evaluace. Celý proces se děje za součinnosti zahraničních hodnotitelů a nezaměřuje se pouze na celé ústavy, naopak se hodnotí i týmy, což představuje celkem 406 útvarů. Výsledky této fáze hodnocení se bude zabývat jarní zasedání Akademického sněmu. Aktuální téma nám přiblížil předseda Řídicí skupiny prof. Petr Ráb.
Foto: © Stanislava Kyselová, Akademický bulletin
Petr Ráb: "Akademie věd je jediná instituce, která takto důkladné své vlastní hodnocení provedla. Ukončením sumativní části vstupuje hodnocení
do další fáze."
Je nepochybné, že jakékoli hodnocení by mělo přinést doklad o kvalitě, úrovni, smysluplnosti nebo efektivitě předmětu hodnocení. Nejinak je tomu i v případě interní evaluace v Akademii věd ČR. Zde se však nejedná o první aktivitu tohoto druhu. Co všechno pojem kvalita obsahuje a jaké období se hodnotí?
Kvalita vědecké a odborné činnosti předpokládá i co nejširší účast pracovišť na mezinárodní úrovni. Akademie má také další funkce předepsané legislativou. Proto vedení AV ČR už od roku 1993 svá pracoviště pravidelně hodnotí.
Návrh současného hodnoticího procesu vznikal z diskuse zejména s Vědeckou radou AV ČR. V lednu 2010 schválila Akademická rada AV ČR, že se v pravidelném hodnocení výzkumné činnosti pracovišť AV ČR za léta 2005–2009 bude klást důraz na výsledky, kterých dosahují vědecké útvary pracovišť.
Postup této evaluace je legislativně sladěn se zákonem č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací, ve znění pozdějších předpisů, který již nezahrnuje výzkumné záměry. Naopak předpokládá financování výzkumných organizací prostřednictvím institucionální podpory na dlouhodobý koncepční rozvoj právě na základě zhodnocení jimi dosažených výsledků. Institucionální podpora se pracovištím každoročně stanoví na základě zhodnocení jejich výsledků za posledních pět let. Výši podpory má automaticky určit podíl dosažených výsledků pracoviště k celkovému objemu výsledků všech výzkumných pracovišť, veleznámý kafemlejnek, jenž ale zřetelně odporuje podpoře kvalitní vědy a výzkumu, a tudíž je naprosto nevhodný (nejen) pro hodnocení, ale i následné institucionální financování pracovišť AV ČR. Proto bylo nutno využít § 7 bod 6 výše uvedeného zákona, který za určitých podmínek umožňuje poskytovateli upravit výši podpory podle podrobnějšího hodnocení používajícího mezinárodně uznávaných metodik.
Nynější hodnocení se od předchozích v mnoha ohledech lišilo. Jaké byly jeho hlavní cíle? Jak se výzkumná pracoviště hodnotila?
Akademická rada AV ČR stanovila dva hlavní cíle. Tím prvním byla snaha posoudit stav a vývoj vědecké a odborné výkonnosti nejen celých pracovišť, ale i jejich vědeckých pracovních útvarů podle dosahovaných výsledků, aktuálních trendů světové vědy a společenskoekonomických preferencí. Druhým cílem bylo získat relevantní podklady pro rozhodování o výši institucionální podpory jednotlivých pracovišť od roku 2012. Nově se zvyšuje diferenciace institucionální finanční podpory ve prospěch pracovišť s vynikajícími vědeckými výsledky.
Základem metodologické koncepce se stal systém peer review, multikriteriální hodnocení a někde i indikátorové analýzy. Pro její stanovení jsme využili Standard Evaluation Protocol 2003–2009 For Public Research Organization (používaný v Holandsku) a některé prvky z Research Assessment Exercise, který se používá ve Velké Británii. Pětibodovou stupnici a slovní charakterizaci jednotlivých stupňů kvality jsme převzali od European Science Foundation (ESF) a European Federation of National Academies of Sciences and Humanities (ALLEA).
Tak náročný hodnoticí proces představuje dlouhé období příprav, pracoviště jsou rozdílná.
Vypracovali jsme metodický pokyn, podle něhož se pracoviště řídila při zpracování podkladů, jejichž strukturu jsme rozčlenili do pěti okruhů:
A) Kvalita a výsledky vědecké činnosti a aktuálnost tematiky z hlediska trendů světové vědy a jejich inovačního potenciálu.
B) Význam a specifický přínos pracoviště/vědeckého útvaru pro společnost z hlediska společenských, kulturních či ekonomických potřeb ČR.
C) Zapojení pracoviště/vědeckého útvaru do mezinárodní spolupráce.
D) Personální, materiální a organizační otázky činnosti pracoviště a perspektivy jeho rozvoje.
E) Další aktivity zahrnující účast v grantech a projektech ČR, pedagogickou činnost pracoviště.
Protože jsou akademická pracoviště i jejich vědecké útvary značně tematicky a oborově různorodá, bylo nutno je ještě rozdělit do dvou typů, které zohledňovaly jejich význam v mezinárodním, u druhého typu ale naopak národním kontextu. Některá pracoviště tak zařadila část svých vědeckých útvarů do prvního, část do druhého typu. S ohledem na dva odlišné typy pracovišť/vědeckých útvarů byla uzpůsobena i váha jednotlivých kritérií.
Řekne-li se hodnocení, představíme si nejspíš bodovou stupnici. V tomto případě je pětibodová, a ještě rozdělená do vámi uvedených dvou typů podle mezinárodního kontextu. Nasnadě je i známkování od stupně 1 až 5. Stupeň 1 označuje vynikající špičkovou kvalitu výzkumu a dosažených výsledků v hodnoceném období, výzkum takto hodnocený má zásadní význam pro rozvoj oboru a spoluvytváří jeho současný světový trend. Zastavme se nyní u organizace hodnocení.
Akademická rada jmenovala na základě návrhů pracovišť devět hodnoticích komisí, pro každou vědní sekci jednu. Pouhá třetina členů hodnoticích komisí směla mít pracovní poměr na pracovišti AV ČR – předseda komise jejím zaměstnancem být nesměl. Nakonec z celkového počtu 62 hodnotitelů pocházelo pouze šest z pracovišť AV ČR a 10 ze zahraničí (Slovensko, Rakousko, Francie).
Logisticky velmi náročný proces koordinovala pětičlenná Řídicí skupina. Po technické stránce se hodnocení vedlo přes elektronické rozhraní https://gaav.cas.cz/hodnoceni/index.php, kam pracoviště předala dokumenty k hodnocení. Hodnoticí komise a zahraniční posuzovatelé měli na webové stránky autorizovaný přístup, Řídicí skupina i místopředsedové AV ČR na nich mohli sledovat průběh hodnocení, zasílání posudků a postup prací komisí. Pracoviště se zde také dozvěděla výsledky hodnocení. Tento způsob byl velmi flexibilní a hodnotící proces významně zlevnil a zrychlil. Příslušné dokumenty jsou přístupné na interních stránkách Akademie věd ČR http://interni.avcr.cz/.
Zkusme si více přiblížit postup hodnocení po praktické stránce.
Přípravná zasedání hodnoticích komisí se uskutečnila loni v květnu za účasti místopředsedů AV ČR a zástupců Řídicí skupiny. Členové komisí se seznámili s historií, cílem a metodologií hodnocení pracovišť AV ČR. Komise musely určit zpravodaje odpovědné za jednotlivá pracoviště a s řediteli hodnocených pracovišť dohodnout členění pracovišť na vědecké útvary a jejich zařazení do typu I nebo II. Takto bylo stanoveno celkem 406 výzkumných útvarů pracovišť AV ČR – evaluačních jednotek. Poté jsme museli navrhnout vhodné zahraniční posuzovatele. Pro jejich výběr jsme měli k dispozici přehledy posuzovatelů z posledních dvou kol hodnocení pracovišť AV ČR, doporučení z pracovišť a databáze oponentů GA AV. V červnu se společně sešla Řídicí skupina a místopředsedové AV ČR s předsedy hodnoticích komisí. V červenci se ředitelé pracovišť vyjádřili k navrženým posuzovatelům, které následně Akademická rada schválila. Od září byli oslovováni zahraniční posuzovatelé s žádostmi o vypracování hodnocení vědeckých útvarů. V další fázi během ledna a února 2011 prováděly komise prezenční hodnocení za účasti zahraničních posuzovatelů. Hodnotitelé byli vyzváni, aby využívali celé pětibodové stupnice. Prezenčních hodnocení se zúčastnilo 147 zahraničních posuzovatelů, tedy 62 % z celkového počtu, kteří vypracovali posudek a byli na prezenční hodnocení pozváni. Na přelomu února a března se scházeli předsedové, případně i členové komisí s místopředsedy AV ČR a zástupci Řídicí skupiny, aby projednali poslední úpravy hodnocení od komisí. Hodnoticí komise dodaly do 14. března 2011 závěrečné výsledky ve dvou protokolech – konečné profily vědeckých útvarů a závěrečné hodnocení pracoviště.
Povedlo se zhodnotit všechny útvary? Kdy budou zveřejněny výsledky? Jaký závěr hodnocení přineslo?
Z původních 406 útvarů prošlo evaluací 397. Ze zbylých nehodnocených devíti byly tři útvary již zrušeny a dalších šest má servisní charakter, tudíž nemohly být podle přijatých kritérií hodnoceny.
Poznatky, které tento přístup k hodnocení poskytl, využije vedení AV ČR i pracoviště ke zkvalitnění vědecké činnosti. Je zřejmé, že výsledky vyjádřené ve stanovisku příslušných hodnoticích komisí mohly mít v různých případových situacích odlišný význam. Proto byla v tezích přijatých AR při přípravě tohoto kola hodnocení zformulována zásada, že konečné výsledky nebude vedení Akademie věd přebírat mechanicky, nýbrž se stanou především kvalifikovaným východiskem k interpretaci v širším kontextu.
Kompletní výsledky od komisí a stanoviska AR k nim dostali ředitelé příslušných pracovišť 24. března 2011.
AR po detailní analýze závěrů konstatovala, že pojetí jednotlivých kritérií v hodnocených tematických okruzích není vyrovnané; někde nebylo přesvědčivě zdůvodněno ohodnocení stupněm 1; proto se rozhodla, že provede nezbytné a promyšlené úpravy známek některých vědeckých útvarů s tím, že zachová relativní pořadí stanovené komisemi. Do celkového hodnocení pracoviště tyto korekce nepromítala, pro vedení Akademie věd mají pouze informativní charakter.
Při porovnání kvality vědeckých výstupů z minulého a tohoto cyklu hodnocení je patrné, že na pracovištích AV ČR během hodnoceného období 2005–2009 podstatně narostla měřitelná kvalita a množství vědeckých výstupů. Vyplývá to z bibliometrických údajů, závěrů hodnoticích komisí i výroků zahraničních posuzovatelů. Bohužel však ke vzrůstající kvalitě a množství vědeckých výstupů nepřispívají všechny vědecké útvary pracovišť stejnou měrou. Toto složité a logisticky náročné hodnocení pracovišť AV ČR, které bylo provedeno až na úroveň jednotlivých vědeckých pracovních útvarů, dobře popsalo kvalitu vědecké a odborné práce pracovišť a poskytlo pro vedení AV ČR i vedení pracovišť důležité podklady.
MARINA HUŽVÁROVÁ
English
