2016-12-23-3
Hodnocení VaV

Velké množství chyb v hodnocení výsledků vědy a výzkumu H15

Na portálu Transparentniveda.cz si uvědomujeme, že velmi podstatnou součástí transparentnosti procesů v oblasti vědy a výzkumu je oblast hodnocení výsledků – ovšem za splnění základní podmínky, že hodnocení neobsahuje systematické a rozsáhlé chyby.

Naše analytická skupina podrobně prozkoumala konečné výstupy H15 schválené RVVI a zveřejněné dne 21. 3. 2015 a zjistila, že tyto výstupy obsahují systematické chyby velkého rozsahu, které tyto výstupy prakticky úplně znehodnocují.

Pro jednoduchost se zde soustředíme jen na publikační výsledky v Pilíři I. Vstupními daty byly pro nás Hodnocení H15 – Pilíř I. a Hodnocení H14 – Pilíř I. zveřejněné na www.rvvi.cz.

Z celkového počtu publikačních výsledků vybraných do H15 tvoří cca 16 % výsledky nově dodané v roce 2015 a výsledky přecházející z H14 do H15, které byly předloženy nějakým dalším předkladatelem v období následujícím po uzávěrce sběru dat pro H14 do termínu 30.5.2015. U těchto výsledků nejsou přebírány body z H14 nebo by mělo dojít k přepočtu v důsledku změny v počtu předkladatelů.

Pro přezkoumání výpočtu podílů, bodů a korigovaných bodů přidělených předkladatelům jsme se tedy zaměřili na těchto 16 % výsledků.

Jde o cca 40000 publikačních výsledků, na které jsme se zaměřili.

V uvedené množině bylo prokazatelně nalezeno

  • téměř 7000 systematických chyb ve výpočtu vzniklých nedodržením pokynů v Metodice a jiných závažných chyb ovlivňujících přidělené body předkladatelům za jejich výsledky včetně výsledků, které měly být převzaty z H14 a v H15 chybí.
  • Kromě toho bylo nalezeno kolem 9000 ostatních nesrovnalostí, které např. pro další interní potřeby předkladatelů považujeme za závažné.

Závěr

Na základě počtu prokazatelných chyb a prokazatelných závažných nesrovnalostí konstatujeme, že

  • z důvodu systematických chyb ve výpočtu podílů, bodů či korigovaných bodů za výsledky a jiných závažných chyb v přidělení bodů předkladatelům činí chybovost cca 18%
  • při započtení ostatních závažných nesrovnalostí činí chybovost cca 40%
  • kromě toho byla dále nalezena řada prokazatelných chyb globálního charakteru, chyby ve výsledcích pilíře II. i v pilíři III., jejichž rozbor máme rovněž k dispozici.

Domníváme se, že údaje ve výstupu H15 jsou nevěrohodné a tím i nevhodné pro rozdělení institucionální podpory H15.

Dovolujeme si rovněž upozornit na skutečnost, že pokud chyby v H15 nebudou odstraněny, budou přeneseny i do hodnocení 2016 a tím bude znehodnoceno i H16.

V další části tohoto dokumentu uvádíme podrobný přehled chyb (dodaný našimi analytiky) podle jejich typu a přehled nesrovnalostí (vše jsme připraveni doložit konkrétními příklady z H15 .

Na portálu transparentniveda.cz se také pokusíme dokladovat všechny nalezené chyby. Přitom vezměte, prosím, v úvahu, že řadu dalších možných chyb jsme nebyli schopni prověřit, protože nám chyběly podklady (např. výpočet bodů za články v časopisech z WoS, ze Scopus a z Erih).

 

P ř e h l e d   t y p ů   c h y b   a   n e s r o v n a l o s t í

Chybný výpočet podílů a bodů ve všech případech, kdy se ke knize vyskytují i její kapitola/kapitoly, kniha a kapitola/kapitoly mají rozdílné předkladatele

Výpočet je v rozporu s pokyny v Metodice

V důsledku chybného výpočtu, kdy je kniha a část knihy považována za samostatný výsledek, je chybně přidělené body za knihu (druh výsledku 1B) a podíl na celé knize (tj. úhrn podílů na knize a na jejích částech) dosahuje absurdních hodnot často > 10

Chybný výpočet podílů a bodů v případech, kdy kniha a kapitola/kapitoly v knize má stejného předkladatele

Výpočet je v rozporu s pokyny v Metodice

Takovému předkladateli jsou započítány body za knihu i body za jednotlivé kapitoly v této knize, podíl předkladatele na celé knize pak dosahuje absurdní hodnoty > 1 a celkové body přidělené předkladateli překračují body za celou knihu

Chybný výpočet podílu předkladatele u výsledků s více předkladateli – všechny případy, kdy výsledek hodnocený v H14 předložil do RIV v období následujícím po uzávěrce sběru dat pro H14 do 30.5.2015 další předkladatel

Nejsou dodrženy pokyny v Metodice

V důsledku této chyby jsou i body přidělené překladatelům takového výsledku chybné, úhrn podílů za všechny předkladatele výsledku dosahuje v některých případech absurdní hodnoty >1

Chybný výpočet korigovaných bodů přidělených předkladatelům

Nedodrženy pokyny v Metodice

V důsledku této chyby jsou přiděleny rozdílným předkladatelům stejného výsledku rozdílné korigované body. Existuje velká řada případů, kdy dokonce za stejný výsledek dostane jeden z předkladatelů kladné korigované body a ostatním je přiděleno 0 korigovaných bodů

Chybný výpočet bodů za článek ve sborníku – hodnocený druh 1JDS, 1JDW

Ze zavedeného kódu a jeho popisu lze usoudit, že u článků ve sborníku s ISSN nebyly respektovány pokyny pro hodnocení těchto výsledků uvedené v Metodice.

Jako perličku uvádíme, že u stovky výsledků druhu J (článek v odborném časopise je zařazen do hodnoceného druhu 1JDS/1JDW (což je podle číselníku druhů článek ve sborníku s ISSN).

Stejný výsledek je započítán předkladateli 2x (existuje dokonce několik případů, kdy je stejný výsledek započítán předkladateli 3x) 

Stejný výsledek je zařazen do více rozdílných hodnocených druhů

U výsledků s více předkladateli je nejednotný hodnocený druh výsledku (např. 1JS a 1JI, 1KDS, 1KDW)

Chybně převzaté údaje z H14 v případě výsledků přecházejících z H14 do H15

Jde zejména o chybně převzatý hodnocený druh výsledku (např. výsledky zařazené v H14 mezi neuznané se v v H15 vyskytují s kódem 1JI / 1JS / 1KDW s nulovými přidělenými nekorigovanými body! Chybně převzatá skupina oborů má za následek nesoulad mezi hodnotou korigovaných bodů přidělených předkladateli a skupinou oborů. Nepravdivými údaji je předkladatel uveden v omyl s veškerými důsledky (např. chce-li získat pro svou vnitřní potřebu jen výsledky hodnocené jako 1JI /JS /1JR /1KDW / 1KDS atd.)

Výsledky s důvodem přidělení bodů „Hodnoceno 2015 – převzaty korekce z předchozích hodnocení“

Podle hodnoty identifikátorů výsledku v rámci RIV (tzv. specifikace výsledku) byly výsledky poprvé dodány až v období následujícím po uzávěrce sběru dat pro H14 do termínu 30.5.2015 (až na několik případů byly dodány v roce 2015) – jak tedy mohou být korigovány podle předchozího hodnocení ?

Tyto výsledky byly blíže prozkoumány porovnáním s výsledky v H14 i s výsledky zveřejněnými v modulu RIV IS VaVaI 2.0: konfrontací se zveřejněnými údaji v novém IS VaVaI – 2.0 se ukázalo, že tyto výsledky figurující v H14 chybí i v modulu RIV IS VaVaI 2.0.

Příčinou je nový způsob sběru a zpracování dat v IS VaVaI 2.0: podle něj jsou výsledky dodané předkladatelem přepisovány vždy poslední verzí dodaného výsledku, tedy i výsledky dodané předkladatelem opakovaně v dalších letech sběru dat.

Zmíněné výsledky zřejmě jejich předkladatel dodal opakovaně v období následujícím po uzávěrce sběru dat pro H14 do termínu 30.5.2015 a v rámci zpracování dat novým systémem IS VaVaI 2.0 byly přepsány naposled dodanými výsledky.

V případech, kdy dojde v přepisu stejného výsledku např. ke změně počtu tvůrců či ve výčtu domácích tvůrců a nejsou již k dispozici všechny výskyty výsledku, dojde k nesprávnému výpočtu podílu na výsledku a tím i k nesprávnému přidělení bodů předkladateli. 

V H15 chybí řada kvalitních výsledků některých předkladatelů hodnocených v H14, které měly figurovat i v H15 (např. články v časopisech ze Scopus, z WoS). Došlo tak k poškození dotčených předkladatelů.

Příčinou je nový způsob zpracování dat v IS VaVaI 2.0. Ve všech případech, výsledek figurující v H14 dodal jeho předkladatel opakovaně v roce sběru 2016, došlo k jeho přepisu a tak již nespadal do výběru výsledků hodnocených v H15. A pokud takový byl takový opakovaně dodaný výsledek zařazen do RIV po 30. květnu 2016 a rokem svého uplatnění spadá i do H16, bude chybět dokonce i v H16, pokud bude výběr výsledků do H16 proveden v souladu s harmonogramem uvedeným v Metodice.

Přepisem výsledků dochází k fatální neodstranitelné chybě, jejímž důsledkem je nekorektní přidělení bodů předkladatelům. 

Ostatní nesrovnalosti

  • U výsledků dodaných jen jako kapitoly v knize (1KC), kdy ke kapitole nebyla nedodána příslušná kniha, nejsou uvedeny body za knihu, ze kterých jsou body za kapitolu vypočítány
  • U organizačních jednotek MV a MO není u řady výsledků kód organizační jednotky vyplněn
  • Důvod přidělení bodů výsledkům a kód přidělení bodů není u některých výsledků vyplněn (desítky případů)
  • Popis sloupce neodpovídá obsahu (identifikátor celého výsledku je vyplněn i druhů J a D, hodnoty tohoto údaje ve vztahu k výsledkům druhu J/D nedávají smysl)
  • Číselník druhů výsledků: zavedené kódy hodnocených druhů výsledků neodpovídají druhům uvedeným v Metodice (dle Metodiky Jimp, Jsc, Jrec, BC, D – u dřívějších hodnocení byl zaveden druh „neu“ pro výsledky s přidělenými nulovými body. Konkrétní důvody přidělení výše bodů byly uvedeny u každého výsledku. Pro předkladatele to byl přehledný a jednoznačný výčet všech hodnocených druhů
  • Podivný popis kódu 1KD – SBORNÍK – ale výsledku druhu „Sborník“ nejsou v RIV vůbec sledovány!
  • Nejasný popis kódu 1J – článek nezařazený – jak se rozpozná jednostránkový článek v časopise zařazený do Erih nebo do Seznamu recenzovaných časopisů ČR od článku v časopise nezařazeného v žádné uznávané DB? Podobně to platí i pro článek v sborníku
  • Jak lze rozpoznat knihu s ISBN nalezeným v souborech sborníků nebo knihu neregistrovanou v NK?
  • Důvody přidělení bodů výsledkům jsou zcela netransparentní – informace typu „Hodnocení výsledků v roce 2015“ nic neříká o tom, z jakého důvodu byly výsledku přiděleny body v uvedené hodnotě

Poznámka na závěr

Body a podíly předkladatelů na výsledcích, které byly do H15 převzaty z H14 a žádný jiný předkladatel je v období následujícím po uzávěrce sběru dat pro H14 do 30.5.2015 do RIV nepředložil, nebyly zkoumány – již v minulosti byla ověřena správnost přidělení podílů i bodů předkladatelům. Zjištěné nesrovnalosti vyskytující se u těchto výsledků vznikly chybným převzetím některých údajů z H14 do H15 (jak jsme již výše popsali).

 

 

Přidat komentář

Klikněte zde pro přidání komentáře

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *