Zahlavi

Dobré zprávy? Akademie věd má za sebou hodnocení za období 2015–2019

13. 02. 2022

Na 360 vědeckých týmů, 34 oborů, 7033 výstupů a téměř dva tisíce zahraničních expertů. Akademie věd ČR absolvovala další rozsáhlé hodnocení svých pracovišť za období 2015–2019, které se kvůli pandemii covidu-19 protáhlo na dva roky. Obstálo všech 54 pracovišť kvalitou výsledků ve srovnání se světovými badatelskými institucemi? Nejen na to odpovídá v rozhovoru v časopisu AB / Akademický bulletin Jiří Homola, který za koordinaci hodnocení odpovídá v Akademické radě AV ČR.

V minulém a předchozím roce se uskutečnilo další kolo hodnocení. Můžete jej přiblížit?

Zaměřili jsme se na výzkumně orientovaná pracoviště, kterých je dvaapadesát, i výzkumně-infrastrukturní – tedy Knihovnu Akademie vědStředisko společných činností. Obě skupiny absolvovaly hodnocení podle různých metodik, které zohledňují rozdíly v jejich účelu a zaměření.

Jaké hlavní cíle jste pro hodnocení výzkumně orientovaných pracovišť stanovili?

Jsou dva. Jednak jsme chtěli získat kvalitní a nezávislé informace o jejich výzkumné a odborné činnosti a poskytnout je jako zpětnou vazbu vedení pracovišť. Názory nezávislých zahraničních odborníků, jak výzkum organizujeme, jakých výsledků naše týmy dosáhly v uplynulých pěti letech či jak vnímáme jejich plány na další období, pokládáme za důležitý zdroj informací a podnětů pro další rozvoj. Za druhé jsme chtěli získat objektivní informace o postavení pracovišť v národním, evropském a světovém kontextu a využít je pro strategické řízení Akademie věd. Hodnocení tak přineslo důležité informace o aktuálním postavení, výkonu a efektivitě fungování naší instituce jako celku.

Jaké zkušenosti jste získali z předchozích cyklů? Připomněl byste historii hodnocení?

V Akademii věd má dlouhou tradici. V různých formách prochází celou její moderní historií a neustále se vyvíjí. Hodnocení podobného typu, jako je současné, jsme poprvé uskutečnili v roce 2010 a týkalo se období 2005–2009. Následující, zahrnující roky 2010–2014, přineslo mnoho nových prvků a stalo se základem, na němž vzniklo hodnocení současné. Z předchozích jsme získali množství pozitivních i negativních zkušeností.

Jaké byly ty nejdůležitější?

Za nejpodstatnější pokládám, že jsme si zvykli na hodnocení systematicky pracovat, přemýšlet, co od něj očekáváme a jak toho dosáhnout. Důležité také je, že se do něj „nebojíme“ vnášet trendy a zkušenosti ze zahraničí, například britského Research Excellence Framework, a že jsme nepodlehli některým lokálním trendům. Zejména Metodice hodnocení výsledků výzkumu a vývoje 2008 – takzvanému kafemlejnku, který vědeckou práci a její posouzení redukoval na výstupy a jejich mechanické bodování. Stále se přesvědčujeme o důležitosti kvalitní komunikace s experty i pracovišt. A také o tom, že mezinárodní hodnocení je náročné na přípravu i provedení a vyžaduje dobrý podpůrný tým.

2022-02-21_Homola1
Člen Akademické rady AV ČR Jiří Homola

Jaké hlavní prvky z předchozích hodnocení jste využili?

Takové, které se osvědčily jako nosné. Především informované peer-review jako metodu, mezinárodní charakter hodnocení či evaluaci na úrovni týmů jako nejmenších výzkumných jednotek.

V čem se principy našeho interního hodnocení odlišují od jiných metodik? Jaké jsou jeho přednosti?

Naše metodika hodnocení plně odpovídá mezinárodním standardům. Ve světě používané metodiky se s ohledem na specifika konkrétních organizací od sebe samozřejmě liší. V Akademii věd používáme metodu informovaného peer-review, které provádějí nezávislí odborníci z daného oboru na základě vstupních dat. Patří mezi ně vybrané výstupy, výsledky bibliometrické analýzy, ale i vstupní podklady z pracovišť. Důležité jsou také informace, které se získávají z jednání s představiteli pracovišť. I ty jsou součástí hodnocení.

Peer-review umí nejen posoudit vědeckou činnost prostřednictvím kvantifikovatelných i nekvantifikovatelných ukazatelů, ale rovněž další činnosti, které výzkumní pracovníci provádějí. Například řízení, vzdělávání, spolupráci s dalšími subjekty v České republice i v zahraničí. Hodnocení se tak dostane na úroveň detailu, kterou potřebujeme. Velmi důležitý je ale také mezinárodní rozměr hodnocení.

Proč konkrétně? 

Protože nás zajímá, jak si naši výzkumníci vedou v konkurenci s těmi nejlepšími v zahraničí, a také kvůli tomu, že nejsme velká země a v mnoha oborech je obtížné najít kvalitní hodnotitele, kteří nejsou vůči hodnoceným ve střetu zájmu. V České republice je komplexní hodnocení po dlouhém období používání zmiňovaného kafemlejnku relativně na počátku. Důležitým posunem je Metodiky 17+, podle níž se realizuje hodnocení na národní úrovni. Tato metodika využila mnohé naše pozitivní zkušenosti, hodnotí však větší celky a s využitím především národních hodnotitelů.

Může být hodnocení do jisté míry i „subjektivní“, nebo můžeme data získaná na základě peer-review považovat za průkazná?

Hodnocení provádějí lidé a jejich pohled bude vždy subjektivní. Jinak výzkum ale hodnotit nejde. Výsledky tvůrčí práce nelze zredukovat na čísla – a to nemluvím jen o výsledcích, které ve své době vyvolaly skepsi či nezájem a později je svět ocenil jako průlomové. Správné hodnocení se musí snažit vliv subjektivity účastníků hodnocení co nejvíce potlačit.

Jak toho dosáhnout?

Důležitým krokem je, aby hodnotitelé byli nejen experty ve svých oborech, ale byli skutečně nezávislí. Ve snaze o maximální nezávislost, tedy absenci střetu zájmu, využíváme při hodnocení dominantně zahraniční experty. I ze vzdálenějších zemí, jako jsou Austrálie nebo USA. Dále chceme, aby skupina hodnotitelů byla dostatečně velká a pestrá, aby hodnoticí stanoviska vznikala v diskusi a zahrnovala různé pohledy.

Jak to vypadá v praxi?

Děje se tak na dvou úrovních. V první fázi provádějí hodnocení vybraných výsledků oborové panely, které si pro každý výsledek zajišťují stanoviska alespoň dvou externích hodnotitelů. Výstupy tvoří podklad pro hodnocení mezinárodními komisemi ve druhé fázi. Komise pracuje jako kolektivní orgán. Závěry jsou proto výsledkem konsenzu mezi jejími členy. Některá pracoviště hodnotí s ohledem na jejich rozsáhlý odborný záběr vícero komisí. V takových případech žádáme relevantní komise, aby se pokusily nalézt na hodnocený ústav společný pohled. Kromě toho existují technické pojistky. Třeba dohadovací řízení pro vypořádání připomínek pracoviště či účast pozorovatelů ve druhé fázi. 

Celý rozhovor s Jiřím Homolou najdete v aktuálním vydání časopisu AB / Akademický bulletinVšechna dosavadní čísla jsou k dispozici online na našem webu.

AB-2022-01_titulka_web_OK
1/2020 (verze k listování)
1/2020 (verze ke stažení)

Připravil: Luděk Svoboda, Divize vnějších vztahů SSČ AV ČR
Foto: Stanislava Kyselová, Divize vnějších vztahů SSČ AV ČR, Shutterstock

Licence Creative CommonsText je uvolněn pod svobodnou licencí Creative Commons.

Přečtěte si také