Česky
MARINA HUŽVÁROVÁ
K tomu, aby Akademie věd mohla co nejobjektivněji posoudit kvalitu své práce a svých výstupů, potřebuje získávat kvalitativní i kvantitativní informace o své činnosti v národním, evropském a světovém kontextu. Jedním z hlavních nástrojů, které k tomu používá, je pravidelné hodnocení v pětiletých cyklech. To aktuální, za období 2010–2014, začalo loni na jaře a s jeho dosavadním průběhem seznámila účastníky Akademického sněmu členka Akademické rady a předsedkyně Koordinační rady hodnocení prof. Eva Zažímalová.
Fota: Stanislava Kyselová, Akademický bulletin
Hodnocení výzkumné a odborné činnosti pracovišť AV ČR za zmíněné období se začalo připravovat prakticky vzápětí po minulé velké evaluaci. Obdobný je i cíl, tedy získání komplexních informací o postavení vědy v Akademii v kontextu národním i mezinárodním, získání podkladů pro strategické řízení AV ČR jako celku, stejně jako zprostředkování nezávislého a srovnatelného hodnocení a zpětné vazby pro řízení jednotlivých ústavů a jejich vědeckých týmů. Žádné hodnocení však nemůže být naprosto dokonalé a jeho příprava vychází ze zkušeností z předcházejících akcí svého druhu i z inspirace v zahraničí.
Mezinárodní aspekt je v hodnocení AV ČR velmi důležitý. Jaké jsou hlavní principy současného hodnocení a v čem se liší od toho minulého?
Hlavních principů je pět: informované peer-review, oborovost, dvoufázovost, oddělené hodnocení a financování a transparentnost. Aby se docílilo respektování oborových specifik, hodnotí se po oborech, a to ve dvou navazujících fázích. První fáze přinesla mezinárodní oborové informované peer-review kvality jednotlivých výstupů (tedy publikací, patentů apod.). Teprve ve druhé fázi se jednalo o mezinárodní oborové informované peer-review pracovišť a jejich vědeckých týmů.
Oddělené hodnocení a financování znamená, že součástí závěrečných zpráv hodnocení nebudou finanční doporučení. Rozhodnutí o finančních otázkách je záležitostí manažerského řízení Akademie věd ČR. Transparentnosti je dosaženo průběžným informováním uvnitř naší instituce a navíc budou závěry hodnocení přiměřeným způsobem zpřístupněny veřejnosti.
Loni se od dubna do června oborově hodnotily vědecké výstupy týmů z jednotlivých pracovišť. Je nasnadě, že se počty týmů dosti lišily. Prozradíte, kolik týmů v kolika oborech bylo a množství přihlášených výstupů?
Celkem bylo k hodnocení přihlášeno 377 vědeckých týmů z 52 ústavů. Tyto týmy přihlásily do první fáze hodnocení celkem 5594 výstupů, které příslušely k 27 oborům. Jednotlivé obory a podobory byly rozřazeny do 13 oborových panelů, které prováděly vlastní hodnocení kvality výstupů. Největší počet výstupů byl přihlášen k panelu „Fyzika“, v těsném závěsu následovaly panely „Chemie“ a „Biologie, biotechnologie a zemědělské vědy“. Z hlediska podoborů bylo nejvíce výstupů přihlášeno k podoboru „Plant Sciences, Botany“ (podle mezinárodního číselníku oborů).
Hodnotitelé pocházejí například i ze vzdálených končin, jako je Malajsie, Singapur nebo Uruguay. Jak důležitou roli hrála znalost českého jazyka?
Znalost češtiny byla důležitá a nutná především u některých humanitních oborů. Nicméně i u oborů přírodovědných nebo inženýrských bylo přihlášeno několik výstupů v českém jazyce, které samozřejmě zahraniční hodnotitelé posuzovat nemohli. V takových případech byli pozváni hodnotitelé z České republiky nebo Slovenska, ale důsledně jsme dbali na to, aby nedošlo ke konfliktu zájmů. Celkově bylo externích hodnotitelů (kteří prováděli vlastní hodnocení výstupů na žádost panelů) 1230 a pouze 24 z nich bylo z České republiky.
Jak se stanovovaly výsledné stupně? Lišily se v rámci komisí názory na jejich udělení?
Externí hodnotitelé zařazovali výstupy do kvalitativních stupňů, které byly definovány takto: 1 – world-leading; 2 – internationally excellent; 3 – recognized internationally; 4 – recognized nationally; 5 – below standard or others.
Pro každý výstup byly vyžádány minimálně dva externí posudky. V případech, kdy se oba hodnotitelé lišili jen o stupeň (např. 1 vs. 2 nebo 2 vs. 3), rozhodl o konkrétním zařazení výstupu předseda panelu na návrh oborově příslušného člena panelu. Když se hodnotitelé neshodli o více než jeden kvalitativní stupeň (např. 2 vs. 4 nebo 1 vs. 3), oborově příslušný člen panelu zadal vypracování posudku třetímu hodnotiteli. Na základě všech tří posudků, ale i pokud se nepodařilo z objektivních důvodů třetí posudek získat, rozhodl o výsledném zařazení výstupu předseda panelu na návrh oborově příslušného člena panelu. Pokud se přes veškerou snahu nepodařilo v průběhu první fáze hodnocení získat potřebné dva posudky na konkrétní výstup (tedy buď žádný posudek, nebo pouze jeden), o výsledném zařazení výstupu rozhodl předseda panelu na návrh oborově příslušného člena panelu.
Všechny panely využily celou škálu kvalitativních stupňů a výstupy nebyly porovnávány mezi sebou, ale ve vztahu k aktuální mezinárodní úrovni daného oboru.
Jak se zpracovávají dílčí výstupy?
Kvalitativní profily výstupů týmů, tedy podíly výstupů v jednotlivých kvalitativních stupních za týmy i pak celkově za daný ústav, zpracovali kolegové z Knihovny AV ČR do grafu, a to na základě výsledků hodnocení v panelech. Získané profily pak KNAV doplnila o bibliometrické údaje definované v Základních principech hodnocení 2010–2014, a v této podobě je získali ředitelé ústavů i Akademická rada. Profily dostaly poté k dispozici oborové komise ve druhé fázi hodnocení, jimž sloužily jako jeden ze vstupů k této části hodnocení.
První fáze tedy znamenala předstupeň, z jakých hledisek se vycházelo v následné části hodnocení ústavů AV ČR i vědeckých týmů?
Ve druhé fázi se posuzovalo šest aspektů činnosti ústavů a jejich vědeckých týmů: celková kvalita výsledků a podíl týmu(ů) i pracoviště na jejich získání; společenská (sociální, ekonomická a kulturní) relevance; zapojení studentů do výzkumu; postavení v mezinárodním i národním kontextu; vitalita, udržitelnost a perspektiva; a nakonec strategie a záměry do budoucnosti.
Nyní již hodnotitelé navštěvovali pracoviště. V jakém složení pracovaly komise?
Hodnocení ve druhé fázi provádělo 13 oborových komisí organizovaných podle stejného oborového zaměření jako panely v první fázi. V komisích bylo zastoupeno 70–80 % expertů ze zahraničí, zbývající byli z České republiky. Velikost komisí odpovídala počtu hodnocených týmů a oborové pestrosti v dané komisi. Nejmenší měla čtyři členy, největší se skládala ze 14 osob. V komisích pracovali experti ze 17 zemí.
Akademie jako zadavatel si jistě ponechala možnost pozorovat průběh akce…
Návštěv komisí na ústavech se zúčastnili pozorovatelé zadavatele, tedy členové Akademické rady (případně Vědecké rady AV ČR), a zástupci hodnocených ústavů. Pozorovatelé se však zásadně neúčastnili vlastního hodnocení, pouze dohlíželi na dodržování základních principů hodnocení a v případě potřeby pomáhali organizačně.
Noticka jednoho z předsedů komisí, která zazněla na zasedání Akademického sněmu, mi evokuje otázku: Umožňují pravidla připomínky během hodnocení?
Samozřejmě umožňují a je to pro Akademickou radu jako zadavatele velmi důležitá zpětná vazba. Po ukončení první fáze jsme si vyžádali komentáře od předsedů panelů a totéž uděláme i po skončení fáze následné, kdy si vyžádáme připomínky a komentáře nejen od předsedů komisí, ale také od ředitelů ústavů. Někteří experti z komisí a panelů i někteří ředitelé nám své připomínky již spontánně posílají a my za ně velmi děkujeme.
Co se děje poté, když komise předloží Závěrečné zprávy?
Většina komisí již své zprávy zpracovala a prostřednictvím elektronického rozhraní je dostali k dispozici ředitelé ústavů. Ti mají tři týdny na vyjádření k průběhu hodnocení a k závěrečné zprávě. Pokud se bude hodnocený ústav domnívat, že závěrečná zpráva porušuje zásady stanovené v základních principech hodnocení, nebo že některé skutečnosti byly v závěrečné zprávě nepřesně či nesprávně interpretovány, může ředitel požádat Koordinační radu hodnocení o přehodnocení zprávy příslušnou oborovou komisí. Pokud Koordinační rada hodnocení uzná námitku za oprávněnou, komise bude požádána o opětovné posouzení znění Závěrečné zprávy. Pracoviště pak bude mít možnost vyjádřit se k její konečné verzi.
Na sněmu jste zdůraznila, že výsledky hodnocení jsou důležité především jako nezávislá informace o úrovni vědecké práce a kvalitě další činnosti ústavů. Jak se promítne po finanční stránce?
Dopad na financování ústavů, resp. na výši institucionální dotace není hlavním cílem tohoto hodnocení, i když je jedním z jeho aspektů, resp. dopadů. Výsledek nemůžu sama předjímat, protože to bude kolektivní rozhodnutí Akademické rady. Ovšem samotné výsledky hodnocení rozhodně nebudou jediným kritériem při případných úpravách výše institucionální dotace.
V tuto chvíli se ještě plným tempem pracuje na velké komplexní inventuře vědecké práce. Výsledky svého hodnocení za období 2010–2014 předloží Akademie věd ČR sobě i veřejnosti na jarním zasedání Akademického sněmu.