Tutkimusta ja tutkijoita arvioidaan jatkuvasti erilaisissa yhteyksissä, kuten rekrytoinneissa, rahoitushauissa ja korkeakoulujen tutkimuksen arvioinneissa. Arviointi on olennainen osa tutkimusta, ja parhaimmillaan se parantaa tutkimuksen laatua esimerkiksi edistämällä tutkimusmenetelmien kehittämistä ja hyvien käytäntöjen jakamista.

Koska arvioinnilla on suuri merkitys etenkin yksittäisen tutkijan uralle, on tärkeää, että arviointikäytännöt ja -menetelmät ovat kaikille tieteenaloille ja uravaiheille mahdollisimman oikeudenmukaisia ja läpinäkyviä. Näin ei valitettavasti kuitenkaan aina ole.

Vallitsevassa arviointikulttuurissa ongelmana on muun muassa liiallinen keskittyminen julkaisumääriin ja englanninkielisten julkaisujen korostaminen muiden kielten kustannuksella. Avoimen tieteen ansioita ja tutkimuksen yhteiskunnallista vaikuttavuutta huomioidaan riittämättömästi ja julkaisumetriikkaa käytetään myös tarkoituksiin, joihin se ei sovellu (Aubert Bonn ja Bouter 2023).

Suppea kriteeristö tuottaa arvioinnissa vinoumia ja ei-toivottuja vaikutuksia. Näiden ongelmien vuoksi tiedeyhteisö on alkanut peräänkuuluttaa nykyistä vastuullisempia arviointikäytäntöjä. Muutosta kuitenkin jarruttavat muun muassa arvioinnin koettu monimutkaisuus, huoli kustannuksista ja uusien käytäntöjen vastustaminen (Hyrkkänen ym. 2023). Lisäksi puuttuu sopivia menetelmiä ja järjestelmiä tai ne ovat riittämättömiä.

Vastuullinen arviointi tarvitsee tuekseen myös teknisiä ratkaisuja ja käytännön ohjeita. Kehitimme sellaisia äskettäin päättyneessä EU-hankkeessa, jonka nimi oli Next Generation Research Assessment to Promote Open Science (GraspOS). Hankkeessa oli mukana 18 organisaatiota 11 eri maasta. Sen toimijoina oli tutkimuksen, tutkimushallinnon ja -rahoituksen organisaatioita. Suomesta siihen osallistuivat Tieteellisten seurain valtuuskunta (TSV), CSC – Tieteen tietotekniikan keskus ja Itä-Suomen yliopisto.

Kolmen vuoden aikana GraspOS-hanke tuotti vastuullisen arvioinnin tueksi työkaluja, ohjeita ja palveluita. Kaikissa palveluissa keskiössä oli avoimen tieteen aiempaa monipuolisempi huomioiminen tutkimuksen ja tutkijan arvioinnissa. Myös määrällisten indikaattoreiden kehitystyö nojasi vastuullisen arvioinnin periaatteisiin.

TSV:ssä päävastuuna oli koota nykytilanteesta laaja yleiskatsaus, joka kattoi keskeiset vastuullisen arvioinnin linjaukset ja työkalut erityisesti avoimen tieteen näkökulmasta. Lisäksi tehtävänä oli tuottaa materiaaleja vastuullisen arvioinnin käytännön työn tueksi (Hyrkkänen ym. 2023; Tatum ym. 2025).

Materiaalit ovat käytännönläheisiä dokumentteja, joita organisaatiot voivat hyödyntää ja muokata tarpeitaan vastaaviksi. INORMS Research Evaluation Group on kehittänyt SCOPE-mallin, joka on laajasti käytetty kansainvälinen vastuullisen arvioinnin työkalu, ja materiaalit tukevat sen hyödyntämistä käytännön työssä (INORMS 2023). Kaikki materiaalit pohjautuvat aikaisemmin julkaistuihin linjauksiin, suosituksiin ja muuhun kirjallisuuteen.

Materiaaleja on kolmenlaisia: oppaita, mallipohjia ja tarkistuslistoja. Ne liittyvät sisällöltään esimerkiksi organisaation kypsyyteen suhteessa vastuulliseen arviointiin, arvioinnin toimijoihin, organisaation arvoihin, avoimeen tieteeseen ja arviointiprosessin arviointiin. Materiaaleja voidaan hyödyntää erilaisissa arviointiprosesseissa aina yksittäisen tutkijan arvioinnista koko maan tai tieteenalan arviointiin. Niitä on mahdollista hyödyntää myös arvioinnin eri vaiheissa prosessin suunnittelusta aina prosessin itsensä arviointiin asti.

Yliopistolain mukaan yliopistojen tulee olla vuorovaikutuksessa yhteiskunnan kanssa ja edistää tutkimuksen yhteiskunnallista vaikuttavuutta. Tieteen yhteiskunnallisen vaikuttavuuden mittaamiselle ei kuitenkaan ole vielä löydetty yhteisiä käytäntöjä.

Perinteinen julkaisumääriin ja viittauslukuihin perustuva tieteellisen vaikuttavuuden mittaaminen toimii vain tieteenalojen sisällä ja palvelee lähinnä tiedeyhteisöä, jossa tutkijat sekä tuottavat julkaisuja että siteeraavat niitä. Muualla yhteiskunnassa tutkimustuloksiin ei yleensä viitata samaan tapaan. Siksi perinteiset mittarit eivät riitä yhteiskunnallisen vaikuttavuuden todentamiseen (Brenninkmeijer 2022; Spaapen ja Van Drooge 2011).

Yhteiskunnallinen vaikuttavuus on lähdeviittausten sijaan pikemminkin tiedeyhteisön ja muun yhteiskunnan välistä laajaa vuorovaikutusta. Tuottavaksi vuorovaikutus voidaan määritellä, jos se johtaa tutkimustulosten ja tieteellisen tietämyksen lisääntyvään käyttöön yhteiskunnan eri alueilla (Ravenscroft ym. 2017; Spaapen ja Van Drooge 2011).

Itä-Suomen yliopistossa tarkasteltiin hankkeen puitteissa sekä suoria vuorovaikutuksia ihmisten kesken että epäsuoria vuorovaikutuksia, jotka syntyvät julkaisujen ja muiden tuotosten kautta (katso myös Spaapen ja Van Drooge 2011). Suomessa muita tutkimusaktiviteetteja kuin julkaisuja kirjataan vapaaehtoisesti tutkimusorganisaatioiden tutkimustietojärjestelmiin, mutta niitä ei vielä juurikaan hyödynnetä tai analysoida.

Pilottitutkimuksessa Itä-Suomen yliopistossa kehitettiin indikaattorimalli, joka kuvaa yhteiskunnallisten vuorovaikutuspyrkimysten tasoa. Mallissa yhdistettiin tutkimustietojärjestelmien toisiaan täydentävää dataa sekä ammatillisista ja yleistajuisista julkaisuista että tutkimusaktiviteeteista. Tästä tulee nimi hybridi-indikaattori.

Hybridi-indikaattori kuvaa organisaation tai yksikön pyrkimystä vuorovaikutukseen. Tätä tasoa kuvataan tähtiluokituksella, jossa tähdet kuvaavat vuorovaikutuspyrkimysten suhteellista määrää. Vähäinen tähtimäärä kuvaa keskimääräistä vähäisempää ja suuri tähtimäärä keskimääräisen ylittävää vuorovaikutuksen määrää. Tähtiluokitusta ei ole tarkoitettu laittamaan organisaatioita tai niiden yksiköitä paremmuusjärjestykseen, vaan tekemään näkyväksi organisaation tai sen yksikön yhteiskunnallista toimintaa.

Indikaattorimallin avulla voidaan todentaa sitä, millaisessa yhteiskunnallisessa vuorovaikutuksessa organisaatio on mukana, ja havainnollistaa, kuinka yhteiskunnallisen vaikuttavuuden saavuttamiseksi on tärkeää huomioida tutkijoiden moninainen työ.

Dataan perustuvaa hybridi-indikaattoria voidaan käyttää muiden menetelmien ohella yhteiskunnallisen vuorovaikutuksen näkyväksi tekemiseen vastuullisessa tutkimuksen ja avoimen tieteen arvioinnissa. Hybridi-indikaattorimalli yhdistää määrällisen ja laadullisen tiedon ja toimii todisteena esimerkiksi sanallisen narratiivisen CV:n sisällölle.

Hybridi-indikaattorimallin kehittämistyöllä on haluttu myös herättää keskustelua tutkimuksen yhteiskunnallisen vaikuttavuuden ja vuorovaikutuksen kysymyksistä. Monipuoliseen tutkimuksen arviointiin tarvitaan avoimesti saatavia mittareita, jotka huomioivat yhteiskunnallisen vuorovaikutuksen, kuten opetuksen, kansalaistieteen sekä tutkimusmenetelmien ja -aineistojen avaamisen.

Pilottitutkimus osoitti, että hybridi-indikaattori on toteutettavissa ja sovellettavissa eri tietojärjestelmiin niin kansallisella kuin kansainvälisellä tasolla. Hybridi-indikaattorimalli on tulossa avoimesti saataville hyödynnettäväksi ja edelleen kehitettäväksi.

CSC:n tavoite hankkeessa oli tuoda tieteen avoimuutta paremmin esiin opetus- ja kulttuuriministeriön tarjoamassa Tiedejatutkimus.fi-palvelussa, joka kokoaa ja jakaa tietoa Suomessa tehtävästä tutkimuksesta. Hankkeen aikana pilotoitiin Tiedejatutkimus.fi:stä löytyvien avoimesti saatavilla olevien julkaisujen rikastamista viittaustiedoilla hyödyntämällä OpenCitations-palvelua. Rikastettavat julkaisut rajattiin avoimesti saatavilla oleviin.

Kansallisen tutkimustietojärjestelmän tietojen rikastamisessa tärkeää on uusien tietojen luotettavuus ja niiden kattavuus. Pilotointi osoitti OpenCitations-palvelun tietojen olevan riittävän luotettavia ja kattavia, jotta julkaisutietoja voitaisiin rikastaa viittaustiedoilla. On kuitenkin huomioitava, että Tiedejatutkimus.fi-palvelua ei ole tarkoitettu arviointivälineeksi, vaan sen tehtävänä on koota ja jakaa tietoa. Viittaustietojen lisääminen julkaisuihin mahdollistaa ja kenties jopa kannustaa siihen, että julkaisuja arvotettaisiin viittausmäärien perusteella.

Hankkeen aikana pilotoitiin myös niin kutsuttua avoimuuden profiilia (Openness Profile), joka tarkoittaa sitä, että asiantuntija voi Tiedejatutkimus.fi-palvelun profiilissaan nostaa esille ansioita, jotka liittyvät avoimen tieteen edistämiseen. Näitä ovat avoimesti saatavat julkaisut, avoimuutta edistävät aktiviteetit ja niistä saadut palkinnot. Asiantuntija voi myös kuvata sanallisesti avoimuuden merkitystä omassa työssään.

Julkaisujen osalta avoin saatavuus on mahdollista määrittää automaattisesti, mutta aktiviteettien ja palkintojen osalta tämä ei ole mahdollista. Pilotin yhteydessä suunniteltiin työkalu, jonka avulla asiantuntija voi itse luokitella aktiviteettejaan ja palkintojaan avoimuutta edistäviksi. Tällä hetkellä asiantuntijaprofiileissa on mahdollista avoimesti saatavilla olevien julkaisujen korostaminen. Aktiviteettien ja palkintojen luokittelu sekä avoimuuden sanallinen kuvaus toteutetaan vuoden 2026 aikana.

Avoimuuden profiilia testanneet asiantuntijat pitivät sitä hyödyllisenä ja helppokäyttöisenä lisäyksenä asiantuntijaprofiiliin. On kuitenkin selvää, ettei Tiedejatutkimus.fi:n nykyisellä tietosisällöllä voida kuvata avoimuutta riittävällä tasolla. Asiantuntijat kaipasivat mahdollisuutta kuvata ennemmin avoimeen tieteeseen ja sen edistämiseen liittyvää osaamistaan kuin pelkkiä työnsä tuotoksia. Kehitystyötä on syytä jatkaa, jotta tulevaisuudessa avoimen tieteen edistämisen tietoja voitaisiin tuoda myös ulkopuolisista tietolähteistä ja avoimuutta pystyttäisiin kuvaamaan entistä monipuolisemmin.

​​​Arvioinnin uudistaminen sisältää paljon haasteita, ja jatkuva rakentava kritiikki on paikallaan. Miten kehittää arviointia entistä avoimemmaksi ja läpinäkyvämmäksi? Miten löytää tasapaino arvojen ja avoimuuden välillä? Miksi avoimuutta arvioidaan suljetulla datalla? Miten ja millaista avoimuutta tulee ylipäätään palkita?

Kun hankkeen päätöskonferenssi järjestettiin Italian Pisassa viime vuoden lopulla, tohtori Elizabeth Gadd ja professori Maria Chiara Corrozza nostivat puheenvuoroissaan esille ristiriidan, joka on yhä vastuullisemman tutkimuksen arvioinnin periaatteiden ja niiden käytännön toteutuksen välillä. Digitaalinen kehitys kuitenkin mahdollistaa uudenlaisen avoimuuden, joka muuttaa tiedettä ja tieteen tekemisen tapoja.  

​​​Vastuullisemman tutkimuksen arvioinnin toteutuminen vaatii vielä paljon työtä, ja siihen löytyy jatkuvasti uusia näkökulmia. Ajan tasalla pysyminen edellyttää seurantaa ja huolellista tulkintaa. GraspOS-hankkeen tulosten pohjalta on hyvä jatkaa työtä yhä vastuullisemman, avoimemman ja monimuotoisemman tutkimuksen arvioinnin edistämiseksi. 

•

Kaikki GraspOS-projektin tuotokset ovat vapaasti käytettävissä GraspOS-palvelukatalogin kautta ja Zenodossa. Lisäksi kaikille avoin verkkokurssi sisältää osion tuotetuista materiaaleista. 

•

Tieteellisten seurain valtuuskunta, joka oli mukana GraspOS-hankkeessa, on Tieteessä tapahtuu -lehden julkaisija.

•

Lue myös:

Generatiivinen tekoäly haastaa tiedejulkaisemisen luotettavuuden

Julkaisumetriikkaa tulee käyttää järkevästi – Suomessa tehdään kansallista yhteistyötä vastuullisuuden edistämiseksi

Tutkija, julkaise vähemmän! Kertakäyttötieteen riskit ja ongelmat

•

Haluatko pysyä kärryillä uusimmista tiedeartikkeleista? Tilaa Tieteessä tapahtuu -uutiskirje!