Image

Kun tutkimusrahoittajat suunnittelevat ja toteuttavat hakemusten arviointeja, he huomioivat työssään kaksi seikkaa: he varmistavat ensinnäkin arviointiprosessien tehokkuuden ja toisaalta prosessien korkean laadun, jotta parhaat hakemukset sijoittuvat korkeimmalle ja saavat rahoitusta.

Julkisten tutkimusrahoittajien on toimittava tehokkaasti ja varmistettava, että mahdollisimman suuri osa niiden hallinnoimista varoista menee tutkimusyhteisöille. Siksi arviointikustannukset pyritään pitämään mahdollisimman alhaisina vaarantamatta prosessien laatua.

Arvioinnin sisäiset kustannukset ovat kutakin hanketta kohti suurelta osin kiinteät, ja itse arvioitavien hakemusten määrä vaikuttaa niihin suhteellisen vähän. Sen sijaan hakemuksia arvioiville asiantuntijoille maksettavat palkkiot kasvavat suhteessa hakemusten määrään. Jos hakemusten myöntämisprosentti on alhainen, hallintokustannukset per rahoitettu hanke ovat korkeat.

Prosessin laatuun vaikuttaa, millä menetelmillä asiantuntijoita rekrytoidaan, kuinka moni asiantuntija hakemuksen arvioi ja se, mitä menettelyjä noudatetaan hakemusten pisteytyksessä ja hakijoille annettavan palautteen kirjoittamisessa. Lopulta arviointitulosten laatu riippuu hakemuksia arvioivien asiantuntijoiden pätevyydestä ja siitä, kuinka hyvin he työnsä tekevät.

Vaikka useimpien tutkimusrahoittajien arviointiprosessit ovat pysyneet suurelta osin muuttumattomina jo vuosien ajan, rahoittajien keskuudessa käydään jatkuvaa keskustelua siitä, miten näitä prosesseja voitaisiin kehittää.

Koska tekoälyä käytetään yhä enemmän sekä tutkimushakemusten laatimisessa että arvioinnissa, itse arviointiprosessien arviointi on entistä tärkeämpää. Jotta voimme sopeutua tekoälyn uuteen käyttöön, meidän on oltava valmiita keskustelemaan prosessien entistä kattavammista ja perustavammista muutoksista kuin tähän mennessä.

Meidän on varauduttava siihen, että tekoälyä käytetään usein hakemusten kirjoittamiseen. Tekoäly nopeuttaa taustoituksen kirjoittamista ja auttaa kaunistelemaan vähemmän omaperäisiä tai huonosti harkittuja tutkimusideoita hienoilla sanoilla ja muotoiluilla. Tekoäly pystyy helposti ottamaan haltuunsa työsuunnitelmien kirjoittamisen ja tutkimuskonsortion esittelyn sekä tarjoamaan näennäisesti vakuuttavan kuvauksen odotettavasta vaikuttavuudesta. Sen avulla pystyy myös esittämään asianmukaiselta vaikuttavan viestintäsuunnitelman.

Odotettavissa on, että jatkossa hakemukset tulevat näyttämään entistä samankaltaisemmilta, etenkin niiden yleisluonteisemmissa osissa. Hakemuksista tulee laadultaan entistä yhtenäisempiä, jolloin niiden arvioinnissa on vähemmän selvästi korostettavia tekijöitä.

Hakuprosessin helpottumisen ja nopeutumisen seurauksena on odotettavissa, että rahoittajat saavat entistä enemmän rahoitushakemuksia. Rahoittajien on täten rekrytoitava lisää asiantuntijoita arvioimaan hakemuksia. Jo nyt on haastavaa löytää ja rekrytoida riittävästi halukkaita ja päteviä asiantuntijoita arvioimaan tutkimushakemuksia. Tämä ei tule helpottumaan tulevaisuudessa.

Kun hakemusten määrä kasvaa, hyväksymisaste laskee. Hyväksymisaste on jo nyt liian alhainen monissa rahoitushauissa, ja hyväksymisprosentin lasku heikentää luottamusta järjestelmään.

Asiantuntijalle voi myös olla houkuttelevaa hyödyntää tekoälyä arviointityönsä apuvälineenä. Asiantuntijoiden on yhä vaikeampaa erottaa, mikä hakemuksissa on alkuperäistä ja mikä tekoälyn tuottamaa. Hakijoille annettava kirjallinen palaute saattaa vaikuttaa tekoälyn tuottamalta, sillä se voi olla yleistä, epätarkkaa ja geneeristä.

Kaikki tämä lisää todennäköisyyttä, että vähemmän lupaavat tutkimusideat sijoittuvat rahoitushauissa aidosti parempien ja ainutlaatuisten tutkimusideoiden edelle. Myös tämä heikentää luottamusta järjestelmään ja tukea avoimille, kilpailuun perustuville areenoille tutkimusrahoituksen jakamisessa.

Keskusteluissamme pohjoismaisten tutkimusrahoittajien kanssa on käynyt selväksi, että kaikki valmistautuvat käsittelemään suuria määriä tekoälyn tuottamia hakemuksia. Koska pohjoismaiset rahoitusvirastot noudattavat suurelta osin samoja prosesseja ja menetelmiä hankkeiden ja hakemusten arvioinnissa, ne voivat hyötyä yhteistyöstä uudenlaisten arviointimenetelmien kehittämisessä ja kokeilemisessa.

Hakijoiden käyttäminen arvioijina hakuprosesseissa, joihin he itse osallistuvat, ja tutkijoiden tutkimusideoita esittelevien lyhyiden videoiden lähettäminen ovat kaksi mahdollista kehitysideaa, joiden seurauksia voitaisiin mitata.

NordForsk on pieni Pohjoismaissa toimiva tutkimusrahoitusorganisaatio, ja olemme valmiita toteuttamaan uudenlaisten menetelmien kokeiluita. Olemme joustavia ja voimme helposti muuttaa menettelytapojamme ja testata uusia malleja hanke- ja arviointiprosesseille. Kannustan Pohjoismaiden kansallisia tutkimusrahoittajia yhteistyöhön ja asettamaan NordForsk alustaksi uusien arviointimenetelmien kehittämiselle ja testaamiselle.

Uudet haasteet eivät koske ainoastaan rahoittajia, vaan koko tutkimusjärjestelmää. Tutkijoiden ja yliopistojen on varmistettava, että tekoälyä käytetään vastuullisesti. Toimeksiantajien ja päätöksentekijöiden on ymmärrettävä, millaisia vaikutuksia tällä voi olla tutkimukseen kohdistuvaan luottamukseen ja tutkimuksen laatuun.

Rahoittajien on puolestaan kehitettävä arviointiprosesseja, jotka varmistavat, että parhaat hakemukset saavat jatkossakin suurimman vaikuttavuuden.

•

Keskustelu-osiossa julkaistaan tieteeseen liittyviä mielipidekirjoituksia, jotka edustavat niiden kirjoittajien omia näkemyksiä. Voit tarjota osioon omia puheenvuorojasi. Lue ensin ohjeet kirjoittajalle.

•

Lue myös:

Generatiivinen tekoäly haastaa tiedejulkaisemisen luotettavuuden

Kun tutkimusideoita vertaillaan, onko tyylillä väliä? Tarinallisuus rahoitushakemusten tehokeinona

Miten suuret kielimallit vaikuttavat akateemiseen julkaisemiseen?