Budoucnost umělé inteligence při hodnocení vědecké práce

Podle jeho autorek to může přinést větší transparentnost při přijímacím řízení.

Nový článek v časopise Scientometrics z pera Rosiny Weber a Kedmy B. Duarte vysvětluje, jak by bylo možné využít umělou inteligenci při vybírání kandidátů na inzerované vědecké pozice. Autorky tento postup aplikovaly při srovnání pracovního profilu předních brazilských vědců. Umělá inteligence, která srovná vědecké životopisy, je nejen schopna filtrovat vhodné kandidáty splňující potřebné požadavky, ale dokáže se na základě analýzy těchto dat naučit, jaké aspekty v životopisech jsou nejvíc žádoucí (jako publikace, členství v odborných organizacích nebo edičních radách). Nakonec přijde s návrhem, který kandidát je podle těchto kritérií na danou pozici nejvhodnější.

Weber a Duarte přitom argumentují, že použití umělé inteligence při výběru vhodných kandidátů na danou pozici paradoxně povede k větší transparentnosti, než když kandidáty vybírá komise složená z jiných vědců. Aby umělá inteligence fungovala správně, musí do ní lidé zadat jednoznačná kritéria, podle kterých má kandidáty hodnotit – zadavatel musí jasně deklarovat, podle čeho se kandidáti vybírají.

Podle autorek výběr s pomocí umělé inteligence splňuje jedno z kritérií Leidenského manifestu. Jedná se o deset principů hodnocení výzkumu, které mají vést ke spravedlivější a společensky odpovědnější podobě vědecké práce. Umělá inteligence by naplňovala právě požadavek na transparentní kritéria při výběru vědeckých pracovníků. „Výběrové komise musí jednoznačně formulovat, co je standardem při přijímání nových pracovníků,“ říká Rosina Weber k jejich navrhovanému postupu. Upozorňuje také na to, že použití sofistikované umělé inteligence je mnohem lepší způsob než systém, který aktuálně využívají instituce při velkém množství uchazečů. Ty totiž často využívají pouze zkrácenou verzi životopisu nebo jednoduché vyhledávaní pomocí klíčových slov.

Autorky ale varují předtím, že automatizované hodnocení výzkumníků, které provádí umělá inteligence, může reprodukovat stereotypy nebo podávat zkreslený pohled jednotlivých hodnoticích panelů. „To, co umělá inteligence dělá, je, že poslouchá zadavatele. Pokud zadavatel chce přijmout pouze pracovníky, kteří vynikají ve schopnosti prosadit své publikace do žurnálů s vysokých impaktem, umělá inteligence proti tomu protestovat nebude,“ upozorňuje Rosina Weber. To, v čem podle ní umělá inteligence pomůže, je, že přinutí hodnotitele tyto požadavky přiznat otevřeně a nahlas.

Uplatnění umělé inteligence při hodnocení vědy je široké

Umělá inteligence se v různých procesech výběru ve výzkumu a vývoji prosazuje stále častěji. Několik vědeckých vydavatelství už nyní experimentuje s použitím umělé inteligence při výběrů oponentů. Z výzkumů totiž vyplývá, že drtivou většinu práce na posuzování vědeckých článků vykonává jen menšina vědeckých pracovníků (přibližně 20 %). Použití umělé inteligence by jim tak mělo ulehčit práci a zvýšit kvalitu posuzovacího procesu. V roce 2018 se například Aries Systems, systém pro management odborných posudků, který využívá vydavatelství Elsevier, spojil se systémem StatReviewer, který kontroluje statistické výsledky a metody používané ve vědeckých článcích. Také systém ScholarOne, který využívá řada dalších vydavatelství, se spojil s programem UNSILO, který využívá jazykovou analýzu a umělou inteligenci k analýze manuskriptů. Program je tak schopen identifikovat klíčové koncepty v textu a automaticky sumarizovat hlavní myšlenky článku.

Někteří poskytovatelé finančních prostředků na výzkum a vývoj také zkouší software pomáhající vyhledávat možné hodnotitele, které by pro své potřeby mohli oslovit. Nejdále je v tomto směru pravděpodobně čínská National Natural Science Foundation of China (NSFC). Ta naprogramovala sofistikovaný systém, který na základě dat z vědeckých databází a osobních stránek jednotlivých vědců sbírá informace o jejich publikacích a vědeckých projektech. Za pomoci jazykové analýzy pak porovnává tato data s odevzdanými projekty, aby tak identifikovala, kteří vědci budou nejvhodnější posuzovatelé předkládaných projektů. Systém má podle zástupců NSFC řadu výhod – pomáhá jim zvládnout obrovský nápor grantových přihlášek, který se každý rok dramaticky zvyšuje. Ušetří také velké množství lidské práce. Zaměstnanci NSFC nemusí vhodné posuzovatele vyhledávat sami.

Li Ťing-chaj, předseda National Natural Science Foundation of China, ovšem vyzdvihuje i to, že použití umělé inteligence v Číně brání klientelismu. Podle něj je v Číně zvykem, že vědci lobují za úspěch svých projektů. „Problém s evaluacemi je to, že lidé využívají různé konexe. Umělou inteligenci nelze korumpovat,“ říká Li.

To ovšem není problém jen v Číně. Týká se to řady zemí, kde navrhovatelé můžou doporučit experty, kteří jsou schopni posoudit kvalitu jejich projektů. Například podle průzkumu Swiss National Science Foundation posuzovatelé, které navrhli autoři jednotlivých projektů, měli výrazně vyšší tendenci podpořit takové projekty. Naopak posuzovatelé, které k projektům připsala samotná agentura, byli mnohem přísnější. Je tak pravděpodobné, že používání umělé inteligence při hodnocení výsledků vědecké práce bude v následujících letech stále častější.