ELFT HÍRADÓ

[Kamaras Katalin <kamaras.katalin AT wigner.hu>]

Kedves Kollégák, az alábbiakban bemásolom ide azt a levelet, amit a 
Wigner FK levelezőlistájára írtam, amikor nyilvánosságra került a 
tudomanymetria.com oldal használata az OTKA döntésekben. Azoknak szól, 
akik nem akarnak különösebben elmélyedni az algoritmus vizsgálatában, 
ami - bevallom - nem igazán kellemes szórakozás. Az alább leírtak az 
első verzióra vonatkoznak, amit az OTKA eljárás során is használtak, és 
aminek eredményeképpen kilenc pályázótól elvették a lehetőséget, hogy a 
zsüri által előzőleg támogatott pályázatára forrást kapjon. Azóta újabb 
"finomítások" történtek, pl. a szerző bevezetett egy "excellence paper" 
kategóriát, az ilyen cikkek számának négyszeresét (!) pedig hozzáadja az 
előző módszerrel számolt pontszámhoz. Az egész így már kifejezetten 
szürreálissá vált. Véleményem szerint az oldal javítgatása teljesen 
felesleges, tudomásul kellene venni, hogy ez egyszerűen nem működik. 
(Még egy apró információ: a névsorban szerepel Pál Lénárd és Németh 
Judit, ők sajnos már nem tudják töröltetni az adataikat. Ennyit a 
megbízhatóságról.)

Üdvözlettel, Kamarás Katalin

És az eredeti levél (elnézést, hosszú, de rövidebben nem ment):

Kedves Kollégák,
gondolom, az OTKA-botrány kapcsán sokan felkerestétek a 
tudomanymetria.com oldalt. Én elég alaposan körbejártam, és a 
tapasztalataim lesújtóak. Szeretném megosztani őket, mert felületes 
szemlélő esetleg azt gondolná, ez valóban egy tudománymetriai eszköz, 
ami hiteles adatokat szolgáltat. Erről azonban szó sincs.
Nevezett oldal (amit túlzás “rendszernek” nevezni) egy kutató kollégánk 
egyéni kezdeményezése, akinek tudományterülete a bioinformatika, és bár 
publikált néhány idevágó közleményt, semmiképpen nem tekinthető a 
tudománymetria területén szaktekintélynek. Bár, bioinformatikus lévén, 
valóban nagyon szép grafikonokat produkál, arra már nem vette magának a 
fáradságot, hogy a saját szűk szakterületén túli tudományos 
tevékenységekkel és publikációs szokásokkal megismerkedjen.
A részletes kifejtést a “More info” fülön található letölthető 
dokumentumok tartalmazzák, amit valószínűleg kevesen olvastatok el, de 
én megtettem. A továbbiakban az “OTKA-útmutató” c. ismertetőt próbálom 
értelmezni, ennek hosszabb címe: “A tudományos teljesítmény 
referenciaadatbázis alapú meghatározása pályázati döntéselőkészítés 
támogatásához”, 2020.05.24. dátumú változat.
A „referenciaadatbázis” sajátos szempontok alapján állt fel: belevették 
az MTA doktorait, az akadémikusokat, a Lendület-kutatókat, valamint 
azokat, akik 2006 óta OTKA-pályázatot nyújtottak be (feltehetőleg ezért 
nem találjátok magatokat néhányan a névsorban). A honlapon megjelenik 
ezenkívül a kutatók MTMT azonosítója és életkora (utóbbit a doktori.hu 
adatbázisból, illetve magából az OTKA pályázatból nyerték ki). 
Véleményem szerint itt már adatkezelési aggályok is fellépnek. Kérdés, 
milyen célból kapta meg a szerző ezeket az adatokat, és milyen jogon 
hozza nyilvánosságra őket? További kérdés, hogy egy pályázati döntéshozó 
hogyan alkalmazhat egy olyan személytől származó értékelési rendszert, 
aki pályázóként is résztvesz a folyamatban? A dokumentum egy másik 
helyén azt említi: “Néhány kutató esetén nem lehetett kézi módszerrel 
sem meghatározni az MTMT azonosítót, ezeket a kutatókat kihagytuk az 
elemzésből.”  Nem világos, mi ez a "kézi módszer" és milyen forrásból 
dolgozik.
Miután a “referenciaadatbázis” felállt, kezdődhet az “elemzés”. Ez, 
különböző módszerekkel, három paramétert vesz figyelembe: a H-indexet, 
az éves független idézettséget, és a kutató elmúlt 5 évben született 
publikációinak számát. A H-indexet változtatás nélkül használja, a másik 
két mutató azonban erősen manipulált. Lényegében csak a Q1 besorolású, 
első-utolsó szerzős cikkeket veszi figyelembe, a közbenső szerzőként írt 
cikk nem számít, nem létezik az értékelés ezen pontja szerint. (Bizonyos 
tudományterületeken az első-utolsó szerzőség szerinti szűréstől 
eltekint, a fizika nem tartozik ezek közé.) Véleményem szerint ezek a 
manipulációk inkább torzítják, mint finomítják a rendszert.
Az első és utolsó szerző az élettudományokon kívül nem kiemelt, a 
publikációs szokások szabják meg a szerzők sorrendjét. A kiscsoportos 
kísérleti fizikában pl. az első szerző a tudományos életpálya elején 
levő, általában diák résztvevő, aki a kísérletek fizikai 
megvalósításában a legnagyobb mértékben vett részt, az utolsó pedig a 
kutatócsoport vezetője. Az a posztdoktori kutató, akinek már elég 
átlátása van a projektről ahhoz, hogy a diákokat irányítsa és alkotó 
módon vegyen részt a folyamatban, a szerzőlista közepére kerül, azaz az 
algoritmus szerint nem létezik, pedig éppen ez a korosztály az, akinek 
saját projektre kellene pályáznia.
A Q1-Q4 besorolás még azonos folyóiratok esetén is erősen területfüggő, 
ugyanannak a folyóiratnak többféle Q besorolása lehet, nehéz ezt 
egyértelműen meghatározni.
Az “utóbbi öt év” mechanikus alkalmazása mindazokat hátrányos helyzetbe 
hozza, akiknek a munkájában az elmúlt öt naptári évben valamilyen 
megszakítás volt (különösen a kisgyermekes kutatónőket). Ugyanígy 
aggályos a kor alapján történő merev csoportosítás, pl. a kutatói pálya 
kezdete óta eltelt időszak figyelembevétele ennél sokkal igazságosabb 
lenne.
Az “útmutató” azt is elismeri, hogy a fenti problémák ezen az 
algoritmuson belül nem kezelhetők, de ezt nem tekinti különösebb 
problémának (“végül a Q1-es rangot választottuk, mint a kiválóság 
mérőszáma”, “osztott első/utolsó szerzőség nem állapítható meg az MTMT 
adatok alapján, ezért ezek a közlemények nem szerepelnek”, “a PhD 
kezdőpntként való felhasználása... adattorzítást eredményez... ezért ez 
a lehetőség nem került felhasználásra..”, “A Q1-es cikkek súlyának 
növelését azért választottuk, mert az nem eredményezett 
adatveszteséget.”,”Ezen korlátok miatt végül a gyerekszám korrekció nem 
kerül a honlapba beépítésre.”) Kollégák, kutatók támogatását meghatározó 
döntéseket annak alapján hozunk, hogy mi oldható meg a saját 
informatikai rendszerünkben?
Amit az NKFIH úgy említ: “A rendszer használatával a támogatói 
döntéshozatali oldalon lehetőség nyílt arra, hogy a kollégiumok döntési 
javaslatait érdemben áttekintse az NKFI Hivatal”, valójában azt jelenti, 
hogy egy mechanikus, uniformizáló, kiragadott szempont alapján írták 
felül a szakértő testületek döntéseit. Egy sok tekintetben hibás 
algoritmus által generált számot nem lehet “érdemi áttekintésnek” 
nevezni.
Az MTMT rendszerében egy kutatóra kattintva többféle összefoglaló 
táblázat látható, alapesetben az „Általános”, ami a publikációkat és a 
rájuk kapott hivatkozásokat tartalmazza. Ez a táblázat nyilvános, 
elérhető a keresőből, mint ahogy a kutatók publikációs és idézettségi 
adatai is az idő függvényében, a teljes életpályára. A szakterületi 
zsürik eddig ezeket az adatokat vették figyelembe, továbbá az 5 + 5 cikk 
felsorolását (5 az elmúlt 10 évből, 5 a teljes életműből). Semmi szükség 
tehát újabb származtatott mennyiségekre, amiknek a jogosultsága, 
különösen a szerzőétől távol eső tudományterületeken, nehezen 
indokolható.
A bírálati folyamat befejezése után az NKFIH egy kérdőívet küldött szét 
a bírálók között, ahol azt kérdezték, hasznosnak találták-e az oldalt. 
Abból, hogy kb. 70%-uk igennel válaszolt, azt a következtetést szűrték 
le (és ezt büszkén hirdetik is a weboldalon), hogy az eljárás 
támogatottsága nagyon magas a kutatók körében. Ez az állítás minimum 
csúsztatás, mivel 1. nem azt kérdezték, egyetértenek-e azzal, hogy 
kizárólag az algoritmus használata alapján a hivatal felülbíráljon 
zsüri-, illetve kollégiumi döntéseket, 2. a zsürik többsége, akik 
lényegesen több információval rendelkeztek, úgy nyilatkozott, hogy nem 
látja szükségét az algoritmus alkalmazásának.
A magam részéről minden intézeti kollégát, aki a folyamatban bírálóként 
vagy testületi tagként részt vett, arra kérek, a leghatározottabban 
lépjen fel ennek a káros gyakorlatnak az alkalmazásával szemben.
Arról természetesen meg vagyok győződve, hogy a zsürikben folytatott, 
minden körülményt figyelembe vevő (munkaterv, pályázati téma, 
témavezető, résztvevők teljesítményének elemzése) alapos diszkusszió 
igazságosabb eredményt garantál, mint bármilyen szofisztikált grafikon 
alapján előálló sorrend. A fentiekkel csak azt szerettem volna 
illusztrálni, hogy a tudomanymetria.com még csak nem is szofisztikált, 
azaz sem OTKA-pályázók, sem más tudományos szereplők megítélésére nem 
alkalmas.


--
Katalin Kamaras, Research Professor
Institute for Solid State Physics and Optics
Wigner Research Centre for Physics
P. O. Box 49, Budapest, Hungary, H-1525
Phone: +36 1 392 2222 ext. 1312
email: kamaras.katalin AT wigner.hu    homepage: www.szfki.hu/~kamaras