Česky
Hodnocení vědy v Nizozemí je zčásti stejné a zčásti rozdílné od připravovaného hodnocení ústavů Akademie věd ČR. Kritéria se samozřejmě dost překrývají, úplně stejná však nejsou. Také cíle, postupy a závěry hodnocení jsou poněkud jiné než naše. Rozdíl je způsoben i tím, že se hodnotí, a tudíž porovnávají, vědecké týmy ze stejné vědní oblasti pracující ve stejném prostředí, které je ale jiné než prostředí ústavů Akademie. Jak takové hodnocení probíhá a jaké jsou jeho závěry, ukážeme na příkladu informatických kateder a výzkumných týmů devíti nizozemských univerzit za léta 2002–2008.
Všechna fota: www.dreamstime.com
S nadcházejícím termínem ukončení externí evaluace ústavů Akademie věd se v současné době alespoň ve vedení ústavů stále častěji uvažuje, jak asi bude závěr hodnocení vypadat a jaké budou jeho důsledky. Odpovědi na tyto otázky samozřejmě neznám, ale mohu posloužit zkušenostmi z podobné evaluace kateder informatiky významných univerzit, která se uskutečnila letos v Nizozemí. Dostal se mi totiž do rukou materiál Assessment of Research Quality – Computer Science 2002–2008. V kontextu současného očekávaní výsledků „našeho“ hodnocení je to zajímavé čtení, které – i když jej nelze srovnávat – přece jenom poskytuje jistý úhel pohledu, z něhož bude (také) možné na naše hodnocení pohlížet.
Výzkumné týmy
Dříve, než popíšu základní principy hodnocení, se stručně zmíním o organizaci výzkumu na nizozemských katedrách informatiky, jak jsem ji pochopil z diskusí s holandskými kolegy-informatiky. V kontextu hodnocení je to důležité, neboť počítá právě s takovou organizací. Pokud jde výhradně o výzkumně-pedagogické pracovníky, věnují se výzkumu různou měrou. Ryze pedagogičtí pracovníci (lecturers) se jím buď prakticky nezabývají, nebo pouze sporadicky. Činí tak z různých důvodů – přednášení je plně uspokojuje, nejsou tak dobří, aby se stali profesory vedoucími výzkumný tým, nechtějí se do takového týmu zařadit a pracovat pod vedením někoho jiného aj. Jejich hlavní pracovní náplní jsou tudíž přednášky a cvičení. Opačným extrémem jsou úspěšní výzkumní pracovníci, zpravidla profesoři, „hvězdy“ oboru minimálně v evropském měřítku. Daří se jim získávat granty s prostředky na mzdy určenými pouze pro doktorandy, nikoli však pro ostatní členy týmu, včetně financí na provozování vědeckých aktivit pro všechny členy – návštěvy konferencí, cestovné atd. V čele je profesor, ale v týmu může působit i několik dalších profesorů či docentů, postdoktorandů. Hlavně v něm musejí pracovat doktorandi, což se zvláště hodnotí, jak uvidíme dále. Důležité je, že doktorandy může mít ve skupině pouze profesor. Jednotliví členové týmu se na výzkumu podílejí různě. S rostoucí kapacitou zapojení do výzkumu klesá povinnost členů týmů vyučovat, takže vedoucí grantů mají minimální pedagogické úvazky, ale o to více se věnují výchově doktorandů. Navíc za každého „ukončeného“ doktoranda tým obdrží jednorázovou finanční prémii (v současné době činí cca 60 000 eur, což ovšem není příliš – suma stačí na roční plat jednoho post-doktoranda).
Systém má nádhernou vlastnost: po jistém čase se každý zaměstnanec dobrovolně a svobodně, řekl bych skoro „spontánně“, ustálí v jakési rovnovážné poloze, v níž je nejvíce prospěšný pro katedru jako celek. Profiluje se buď jako pedagogický pracovník, anebo výzkumník. Systém nikomu nebrání, aby se zapojil do výzkumu, ale takový člověk musí být pro výzkum přínosem – buď tím, že se začlení do již realizovaných projektů, nebo takové získá. Systém je také motivační – chceš-li navštěvovat konference, zapoj se do výzkumu. Úspěšné týmy, které vychovají postdoktoranda, mohou navíc (zpravidla jiného) postdoktoranda zaměstnat alespoň na přechodnou dobu, než ten získá stálé místo na katedře (což se však podaří zřídkakdy).
Na každé katedře informatiky se nachází dva až deset výše zmíněných týmů v závislosti na její velikosti. Hodnocení kateder se odvíjí od hodnocení týmů.
Cíle hodnocení a složení hodnoticí komise
V Nizozemí se pro hodnocení používá tzv. Standardní hodnoticí protokol pro veřejné výzkumné instituce (viz http://www.qanu.nl/comasy/uploadedfiles/sep2003-2009.pdf). Protokol vypracovala Královská nizozemská akademie věd a umění (KNAW), Nizozemská organizace pro vědecký výzkum (NWO) a Asociace holandských univerzit (VSNU). Veškerý výzkum financovaný ze státních prostředků se v Nizozemí hodnotí jednou za šest let. Hodnocení plní tři cíle: zlepšení kvality výzkumu pomocí procesu hodnocení, jež je v souladu s mezinárodními standardy kvality a relevance; zlepšení kvality řízení výzkumu; posílení zodpovědnosti nadřízených orgánů, grantových agentur, vlády a celé společnosti.
Pro výběr vhodných expertů do hodnoticí komise určila Komora pro informatiku VSNU šest výzkumných okruhů: algoritmy a teorie; softwarové inženýrství; sítě, operační systémy, distribuované systémy a výpočetní věda; informační systémy a databáze; grafika, vizualizace a zpracování obrazu; interakce člověk-počítač, umělá inteligence a reprezentace znalostí.
S ohledem na okruhy vybrala komora šest mezinárodních expertů a jednoho předsedu komise. Mezi členy komise nebyl ani jeden zástupce domácích institucí. Členové pocházeli z následujících univerzit: Oxford University, Politecnica di Milano, MIT, University of Toronto, University of Stuttgart, University of Liverpool, EPFL. K závěrečné zprávě komise je přiložen odborný životopis jejích členů.
Postup hodnocení
Všechna rozhodnutí přijala celá komise konsenzem, i když zápisem hodnocení individuálních týmů a kateder byli pověřeni její jednotliví členové. Komise obdržela od každé skupiny její vlastní sebehodnocení společně s pěti výtisky klíčových publikací a sebehodnocení katedry jako celku. Navíc si vyžádala životopisy vedoucích týmů.
Po diskusi v komisi a konzultaci s katedrami bylo bez ohledu na názory kateder rozhodnuto, že vhodnější než návštěvy jednotlivých pracovišť by bylo uskutečnit schůzky na jednom místě. Důvodem byla produktivita práce komise a také neutrální prostředí. Odstranila se tak nutnost přesunů na jednotlivé univerzity a během dne zbylo více času na prezentaci pracovišť a týmů a diskuse. Každé katedře byl věnován jeden den. V úvodní prezentaci se představilo pracoviště a následně i jeho výzkumné týmy. Poté se konal oběd s doktorandy a post-doktorandy a den završila prvotní zpětnovazební diskuse.
Hodnocení
Standardní hodnoticí protokol předpokládá pět stupňů hodnocení: excelentní (5), velmi dobrý (4), dobrý (3), uspokojivý (2) a neuspokojivý (1). Komise se rozhodla používat i mezistupně, např. „mezi excelentním a velmi dobrým“ (4, 5).
Každý tým posuzovala komise z hlediska čtyř charakteristik definovaných ve standardním protokolu: kvalita, produktivita, relevance, vitalita a proveditelnost (feasibility); každá se „známkuje“ zvlášť. Dále se katedrám uděluje známka za další dvě charakteristiky – celkové hodnocení a vedení. Celkové hodnocení zahrnuje pokrytí disciplíny a kvalitu, produktivitu, relevanci a vitalitu a proveditelnost kated-rálního výzkumu. Hodnocení vedení v sobě zahrnuje kvalitu managementu včetně existence strategického plánu a jeho předpokládané efektivity a schopnost efektivně jednat s nadřízenou univerzitní administrativou.
Hodnocení výzkumných týmů
Podle výše zmíněných kritérií komise hodnotila 59 výzkumných týmů devíti holandských univerzit. Nejvyšší hodnocení obdrželo pouze šest týmů. Obecně se známky pohybovaly v rozpětí od 2,5 do 5. Pouze jedna univerzita (Nijmechen) dosáhla nejvyššího ocenění – známku 5 za celkové hodnocení katedry a známku 5 za hodnocení vedení.
Typické hodnocení týmu obsahuje věty jako „[…] mezinárodní reputace a viditelnost týmu je omezená […] tým by se měl snažit identifikovat svůj výzkumný program jasněji a klást si ambicióznější publikační cíle […] větší koncentrace a agresivnější program by měl napomoci poněkud slabému externímu financování […]“, anebo z jiného, kvalitnějšího týmu (pozn. – hodnocení obsahovalo samé pětky): „[…] tým vykonává vysoce kvalitní, koherentní výzkum bohatý na aplikace […] sleduje slibné budoucí směry […] kmenoví zaměstnanci s podílem žen jsou talentovaní, produktivní a mezinárodně uznávaní […] počet doktorandů a postdoktorandů je vysoký […] tým se silnou vizí a s nakročením k úspěchu, i když ten bude záležet na tom, jestli se katedře podaří udržet kmenové členy týmu, protože jejich reputace roste […]“. Poměrně časté je doporučení pro vedení katedry včas myslet na náhradu profesorů v předpenzijním věku (v Nizozemí je to 63 let, bez možnosti odkladu) např. promocí docentů a poskytnutím nového místa pro kmenového člena týmu. Zajímavá jsou i konstatování, že tým „trpí setrvačností“ – všichni jeho postdoktorandi jsou ze stejného (domácího) pracoviště, čímž se nedostává čerstvých idejí. Za rozumný počet doktorandů v týmu se považují tři doktorandi na profesora, pokud jich je méně, takové doporučení nechybí.
Závěry hodnocení
Sumární závěry hodnocení jsou shrnuty asi na sedmi stranách. Týkají se celkového stavu disciplíny, struktury kateder a výzkumných týmů, pokrytí různých oblastí výzkumu, přijímání nových pracovníků, výchovy doktorandů a postdoktorandů a evaluačních metrik.
Závěry konstatují, že informatika v Nizozemí žije naplno. Na každé katedře našla komise silné důkazy excelence a v mnoha případech také zřetelné zlepšení během evaluační periody. Nizozemí patří mezi čelné země v oblasti výzkumu v informatice a v některých oblastech dokonce k absolutní špičce.
Na úrovni profesorů existují, vedle renomovaných seniorů, také excelentní mladší pracovníci, kteří jsou připraveni pokračovat v díle započatém profesory. Vykrystalizovaly zde původní výzkumné školy s pozitivním efektem na graduální výchovu. Kvalita publikací stoupá, což posiluje dopad výzkumu. Práce několika profesorů patří mezi nejvíce citované publikace v oboru. Stoupá podíl externího financování, často jako důsledek zvýšené spolupráce s průmyslem.
Na druhé straně byla komise nemile překvapena, že informatika jako vědní disciplína je v Nizozemí ohrožena. Škrty v rozpočtu univerzit se realizovaly plošně bez ohledu na strategický význam disciplín. Informatika utrpěla ztrátu vzhledem k nedávnému poklesu zájmu studentů o tento obor. Komise měla velký problém pochopit nesoulad mezi tvrzením děkanů, že jejich univerzity nahlížejí na informatiku jako na důležitou disciplínu, a krácením výdajů skoro na každé katedře. Vzhledem ke svému významu nejen sama o sobě, ale i v kontextu dalších věd bude informatika centrální vědní disciplínou pro několik dalších dekád. Žádná univerzita nemůže být kvalitní bez dobré informatiky. Škrty v rozpočtu pouze na základě krátkodobé fluktuace zájmu studentů, bez uvážení dlouhodobého strategického významu informatiky, vážně poškozují tento vědní obor. I přes pokles zájmu studentů pokračují všechny významné světové univerzity v rozvoji kateder informatiky, i když pochopitelně menším tempem než doposud. Žádná je nezmenšuje. Budou-li holandské univerzity pokračovat v započatém trendu, dostanou se do vážných kompetitivních nevýhod.
Komise shledává jako nepřijatelný stav, kdy vedení kateder zaujme obrannou pozici. Často se spokojí se stagnací, anebo se dokonce podvolí krácení rozpočtu. Nadto ještě některé katedry mění svá jména a s cílem přilákat více studentů, a tudíž získat vyšší státní podporu, se skrývají pod různými nevhodnými názvy. Některé katedry informatiky se dokonce rozpustily do několika konjunkturně pojmenovaných institutů (např. Institut softwarových technologií a mediamatiky). Ještě horší je, že v naději na přilákání studentů vedou tyto hrátky s terminologií ke krátkozrakým rozhodnutím ohledně dlouhodobého směrování výzkumu a k odklonu od centrálních problémů disciplíny směrem k aplikovanějším oblastem s přechodným vlivem. Katedra informatiky je katedrou informatiky a má se tak jmenovat.
Komise doporučila, aby se nedostatky zmíněné v uvedených výtkách odstranily. Dále se zabývala reprezentací jednotlivých výzkumných oblastí informatiky a konstatovala, že pokrytí těchto oblastí na celonárodní úrovni je vysoce nerovnoměrné a zdůrazňuje módní směry. Přehnaný tlak na aplikace má za následek úpadek základního výzkumu, což může v budoucnosti vést k nekvalitnímu aplikovanému výzkumu.
Zajímavé jsou i návrhy komise k použití evaluačních metrik. Vedle zjevných doporučení, aby se každá bibliometrická analýza používala velmi obe-zřetně a v kontextu ostatních prvků vědecké práce, musí korpus prací použitých pro analýzu respektovat specifika informatiky. Komise v tomto směru vydala dvě doporučení:
• Konference by měly být brány v potaz na stejné úrovni jako časopisy. Existují kvalitní i méně kvalitní konference, stejně jako dobrá a méně dobrá periodika, avšak v mnoha oblastech informatiky jsou konference alespoň tak prestižní a selektivní jako časopisy.
• Google Scholar – ačkoli není bez chyb – skýtá daleko lepší korpus pro informatiku než ISI Web of Science, jenž konference nereprezentuje adekvátně a pod hlavičkou informatiky vykazuje i publikace, které tam nepatří. Hodnocení informatiků založené na současné podobě ISI WOS je přinejlepším bezcenné a přinejhorším matoucí.
Nerespektování těchto doporučení bude mít pro informatiku katastrofické důsledky, protože informatici budou motivováni, aby publikovali v časopisech nebo na konferencích, které mají vysoký impakt v ISI, ale přitom je žádný jejich kolega nesleduje anebo je nebere vážně. Je ironií, že pokus měřit takovým způsobem impakt povede k tomu, že články budou publikovány v prostředí, jehož impakt na informatiku je minimální.
Závěr
Mezinárodní hodnoticí tým nezpochybnitelných kvalit bez domácích expertů, existence všeobecně respektované standardní hodnoticí procedury a hodnocení většího počtu institucí pracujících ve stejných podmínkách a zabývajících se stejnou vědní oblastí jsou předpokladem velké vážnosti, kterou v Nizozemí závěry hodnoticí komise požívají. Z diskusí s holandskými kolegy vím, že berou závěry hodnocení velmi vážně a vedení kateder se jimi řídí. Stejně tak berou doporučení komise vážně i orgány, které řídí evaluaci a mají závažné slovo ve financování a řízení vědy v Nizozemí. Pomineme-li tento vliv, jenž se týká financování vědy jako celku, je pro mě na celém hodnocení informatiky nejpřekvapivější asi fakt, že hodnocení jednotlivých kateder nemá absolutně žádný dopad na jejich financování z roviny univerzit. Samozřejmě, hodnocení může mít vliv na „vnitřní“ financování skupin v rámci katedry. Zda, do jaké míry a jak kvalitně budou vědci v jednotlivých týmech „dělat vědu“, záleží pouze a jedině na nich. Hodnocení jejich výkonu, zejména jeho slovní část, může napomoci při zlepšování kvality výzkumu v týmu. Hodnocení kateder k tomu může také přispět, ale nemůže zhoršit financování kateder. Aby vědci a katedry netápali, jak se budou hodnotit jejich týmy v budoucnu, existuje již teď Standardní evaluační protokol na léta 2009–2015 (viz http://www.qanu.nl/comasy/uploadedfiles/ SEP20091052.pdf).
JIŘÍ WIEDERMANN,
Ústav informatiky AV ČR, v. v. i.