Tieteen ja tutkimuksen maailmanlaajuisessa toimintaympäristössä Pohjoismaita ovat perinteisesti yhdistäneet samanlaiset arvot ja toimintakulttuuri. Tutkimuksen vapaus, eettisyys, vastuullisuus, laatu, avoimmuus, vaikuttavuus, kansainvälisyys ja monimuotoisuus luovat vahvan pohjan yhteistyölle. Jopa yliopistojen rahoitusmallit ovat samankaltaisia verrattuna moniin muihin maihin.

Nyt tilanne on muuttumassa. Tanskan opetus- ja tiedeministeriö lakkautti joulukuussa 2021 yliopistojen rahoitusmallissa julkaisuindikaattorin ja siihen liittyvän julkaisukanavien tasoluokituksen, joka oli ollut käytössä yli kymmenen vuotta. Rahoitusmallia uudistetaan myös Norjassa, missä otettiin vuonna 2005 käyttöön julkaisuindikaattori, joka toimi esikuvana myös Tanskan ja Suomen Julkaisufoorumille (JUFO).

Julkaisuindikaattorit ovat osa 2000-luvulla tapahtunutta kehitystä, jossa yliopistojen perusrahoitus on Pohjoismaissa¹, kuten Euroopassa ylipäätään², perustunut yhä enemmän koulutuksen ja tutkimuksen tuloksiin. Julkaisujen lisäksi keskeisimpiä indikaattoreita ovat suoritettujen maisterin- ja tohtorintutkintojen määrät sekä kilpailtu tutkimusrahoitus.

Suomessa yliopistojen nykyinen rahoitusmalli koostuu kymmenestä koulutuksen ja tutkimuksen indikaattorista. Tieteelliset julkaisut ovat yksi niistä. Lisäksi on strategiaperusteinen rahoitusosuus, josta sovitaan opetus- ja kulttuuriministeriön (OKM) ja kunkin korkeakoulun kesken. OKM on asettamassa työryhmän arvioimaan rahoitusmallin uudistustarpeita sopimuskaudelle 2025–2028.

Kesään 2023 mennessä OKM toteuttaa myös kansainvälisen arvioinnin, jossa selvitetään yliopistojen ja ammattikorkeakoulujen rahoitusmallien vaikuttavuutta ja lisäarvoa sekä ministeriön rahoitusohjauksen vahvuuksia ja kehittämistarpeita. Arviointikokonaisuutta täydentää myös Helsinki Graduate School of Economicsin selvitys rahoitusmallin kannustimien vaikutuksista ja ennustettavuudesta.

Julkaisujen sekä Tieteellisten seurain valtuuskunnan (TSV) toteuttaman JUFO-luokituksen roolia yliopistojen rahoitusmallissa todennäköisesti pohditaan myös pohjoismaisen kehityksen valossa³. Oman lisänsä keskusteluun tuo Euroopan komission edistämä kansainvälinen vastuullisen arvioinnin uudistus, jota koskeva sopimus valmistui heinäkuussa.

Joulukuussa 2021 Tanskan opetus- ja tiedeministeriö julkaisi tiedotteen hallituspuolueiden uudesta sopimuksesta, joka koski tanskalaisten yliopistojen rahoitusmallia vuodesta 2022 alkaen⁴. Sopimuksessa on kaksi keskeistä uudistusta.

Ensiksi Aalborgin, Roskilden ja Etelä-Tanskan yliopistot sekä Kööpenhaminan IT-yliopisto saavat lisärahoitusta. Näiden yliopistojen katsotaan tuottavan tutkimus- ja innovaatioparametrien valossa vastinetta tutkimusrahalle ja olevan tärkeitä paikallisen liike-elämän ja kasvualojen työvoimatarpeen kannalta. Muutos myös tasaa resursseja uudempien teknillisten ja perinteisten tiedeyliopistojen välillä⁵.

Toinen uudistus koskee rahoitusmallin indikaattoreita. Koulutuksen, kilpaillun tutkimusrahoituksen ja tohtorintutkintojen määrien perusteella jaettavan suoritusperusteisen rahoituksen osuus kasvaa⁶. Kuitenkin julkaisuindikaattorin (BFI) perusteella jaettava osa rahoituksesta tullaan jakamaan yliopistojen kesken vuoden 2021 jakosuhteen mukaisesti.

Ministeriö ei enää jatka itse hallinnoimaansa julkaisujen laskentaa ja julkaisukanavien tasoluokituksen päivittämistä. Syyksi ilmoitettiin hallinnon yksinkertaistaminen ja se, että haluttiin vapauttaa työaikaa 430 tutkijalta, jotka olivat osallistuneet julkaisukanavien arviointiin 67 tieteenaloittaisessa paneelissa. BFI:lle ei esitetty korvaavaa julkaisuindikaattoria.

Norjassa harkitaan parhaillaan laajaa uudistusta yliopistojen rahoitusmalliin⁷. Opetus- ja kulttuuriministeriön asettama rahoitustyöryhmä ehdotti helmikuussa julkaistussa raportissaan rahoitusmallin indikaattorien vähentämistä kahdeksasta kahteen⁸. Muutosten toivotaan vahvistavan Norjan korkeakoulusektorin monimuotoisuutta, yksinkertaistavan rahoitusjärjestelmää ja vähentävän byrokratiaa.

Kaikki tutkimuksen indikaattorit, mukaan lukien julkaisut ja kilpailtu tutkimusrahoitus, poistettaisiin rahoitusmallista ja jäljelle jäisivät maisterin- ja tohtorintutkinnot. Työryhmän mukaan julkaisuindikaattorista voitaisiin luopua, koska se on tehnyt tehtävänsä ja julkaisukulttuuri on vuoden 2005 jälkeen muuttunut. Uutena rahoitusperusteena käytettäisiin Suomen tapaan ministeriön ja yliopistojen keskinäisiä kehityssopimuksia.

Norjan rahoitustyöryhmä kuitenkin pitää tärkeänä, että Norjan tieteellisestä julkaisutoiminnasta saadaan jatkossakin kokonaiskuva, joka perustuu vahvaan ja kattavaan kansalliseen julkaisuaineistoon. Näin ollen ministeriön tulisi jatkaa rahoitusmallin uudistuksesta huolimatta yliopistojen tieteellisten julkaisujen raportointivaatimuksia ja varmistaa tietopohjan laatu julkaisukanavien arvioinnin perusteella.

Rahoitustyöryhmän näkemyksen mukaan luotettavasti vertaisarvioitujen julkaisukanavien (taso 1) tunnistaminen ja erottaminen saalistajalehdistä sekä vertaisarvioimattomista kanavista (taso 0) on tärkeää, vaikka julkaisuindikaattori poistetaan rahoitusmallista. Eri alojen johtaville julkaisukanaville tarkoitetun tasoluokan 2 merkitys saattaisi kuitenkin jäädä entistä vähäisemmäksi.

Ruotsissa yliopistojen tulosperusteisen rahoitusmallin julkaisuindikaattori perustuu yksinomaan Web of Science -tietokannan julkaisu- ja viittaustietoihin⁹, jotka kattavat puutteellisesti etenkin humanististen ja yhteiskuntatieteellisten alojen julkaisutoimintaa.

Moni ruotsalainen yliopisto käyttääkin Norjan julkaisukanavien tasoluokitukseen ja omaan julkaisuaineistoon perustuvaa julkaisuindikaattoria sisäisissä rahoitusjärjestelmissä ja arvioinneissa¹⁰. Tämä ei kuitenkaan vaikuta yliopistojen perusrahoitukseen.

Vetenskapsrådet on myös toteuttanut kansallisen julkaisukanavaluettelon (Svenska listan)¹¹, jonka tavoitteena on varmentaa kansallisesti kattavan Swepub-julkaisutietokannan sisältö julkaisutoiminnan analyysejä varten. Svenska listan on luettelo kriteerit täyttävistä vertaisarvioiduista kanavista (vertaa taso 1) ilman laatuerotteluja (vertaa tasot 2 ja 3). Se hyödyntää tietolähteenä Norjan, Suomen ja Tanskan asiantuntija-arviointiin perustuvia julkaisukanavien luokituksia.

Islannin yliopiston tiede- ja innovaatio-osasto vastaa maan julkisten yliopistojen arviointijärjestelmästä¹². Joulukuussa 2021 se julkaisi uuden arviointijärjestelmän, joka perustuu vuodesta 2022 alkaen yliopistojen tutkijoiden tutkimus-, koulutus- ja muun toiminnan pisteytettyihin suoritteisiin.

Tieteellisten lehtiartikkelien pisteytyksessä Islannin uusi arviointijärjestelmä hyödyntää lehtien vaikuttavuuskertoimia, JUFO-luokkia ja Norjan luokitusta. Tieteellisten kirjojen ja kirja-artikkelien pisteytys perustuu kirjakustantajien JUFO-luokitukseen. Tuotosten mekaanista pisteytystä voidaan poikkeustapauksissa täydentää asiantuntijoiden suorittamalla arvioinnilla.

Tieteellisiä julkaisuja on käytetty yliopistojen rahoituksen määrällisenä indikaattorina vuodesta 2007 alkaen, jolloin niiden osuus oli vain 0,3 prosenttia perusrahoituksesta. Julkaisufoorumin perustamisen myötä tutkimuksen painoarvoa yliopistojen rahoitusmallissa on voitu lisätä siten, että julkaisutoimintaa ei arvioida ja kannusteta yksinomaan julkaisujen määrän perusteella¹³.

Yliopistojen rehtorineuvoston (UNIFI) työryhmä, joka pohti laadunarvioinnin kehittämistä, julkaisi vuonna 2010 raportin¹⁴. Sen mukaan JUFOlla oli kaksi keskeistä etua verrattuna kansainvälisiin WoS ja Scopus -viittaustietokantoihin: julkaisutoiminnalla on laajempi kattavuus, ja ”tiedeyhteisö itse määrittää, mikä on hyvää tutkimusta ja minkälaiset kriteerit ovat voimassa sen arvioimiseksi”.

Kattavan kansallisen julkaisuaineistoon ja JUFO-luokitukseen perustuvalla julkaisuindikaattorilla on vuodesta 2015 alkaen jaettu 13 prosenttia yliopistojen perusrahoituksesta – vuodesta 2021 alkaen 14 prosenttia¹⁵.

Vertaisarvioituja julkaisuja painotetaan julkaisutyypin, julkaisukanavan JUFO-luokan (1=perus; 2=johtava; 3=top; 0=muut) ja avoimen saatavuuden perusteella. Muista Pohjoismaista poiketen indikaattori sisältää myös ammatilliset ja yleistajuiset julkaisut.

Laatunäkökohdan huomiointi on toiminut sikäli, että suomalaisten yliopistojen julkaisutoiminta on suuntautunut tasoluokan 0 kanavista tasoluokan 1 ja erityisesti tasoluokkien 2 ja 3 kanaviin¹⁶. Yliopistojen opetus- ja tutkimushenkilöstön määrällinen julkaisutuottavuus näyttäisi myös vähentyneen sen jälkeen, kun JUFO-luokitus lisättiin rahoitusmalliin vuonna 2015¹⁷.

Julkaisutoiminnan siirtyminen korkeamman JUFO-tason kanaville ei ole tapahtunut ammatillisen ja yleistajuisen tai suomenkielisen julkaisutoiminnan kustannuksella¹⁸. Voidaan todeta, että JUFO-luokitus ei myöskään ole estänyt avoimen saatavuuden myönteistä kehitystä¹⁹.

Vuonna 2016 avoimesti saatavilla oli 30 prosenttia julkaisuista, kun vuonna 2021 vastaava määrä oli lähes 80 prosenttia. Kehitystä vauhdittavat avointen julkaisujen painotus yliopistojen rahoitusmallissa ja FinELibin avoimen julkaisemisen etuudet.

Keskustelua Julkaisufoorumista ja sen käytöstä suuntaa myös Euroopan unionin edistämä vastuullisen arvioinnin uudistus²⁰.

Uudistuksen tavoite on, että organisaatio- ja yksilötason arvioinneissa ja kannustimissa huomioidaan entistä monipuolisemmin akateemista työtä, tuotoksia ja avointa tiedettä. Uudistus pyrkii poistamaan julkaisu- ja julkaisukanavakohtaisen metriikan – erityisesti Journal Impact Factorin (JIF) ja H-indeksin – käyttöä tutkijan, tutkimuksen ja tutkimusorganisaatioiden arvioinnissa ja rahoituksessa²¹.

Yli 350 organisaatiota yli 40 maasta osallistui heinäkuussa 2022 European University Associationin ja Science Europen johdolla julkaistun vastuullisen arvioinnin uudistamista koskevan sopimuksen viimeistelyyn²². Suomesta mukana olivat TSV, Suomen Akatemia ja kahdeksan yliopistoa. Sopimuksen allekirjoittavat organisaatiot sitoutuvat edistämään uudistusta osana kansainvälistä vastuullisen arvioinnin yhteenliittymää²³.

Suomessa vastuullisen arvioinnin edistämisessä ollaan pitkällä etumatkalla. Sopimuksen tavoitteet ovat hyvin linjassa Tutkijanarvioinnin hyvät käytännöt -suosituksen kanssa²⁴, jonka suomalainen tiede- ja tutkimusyhteisö julkaisi vuonna 2020 TSV:n johdolla.

TSV:n asettama laajapohjainen vastuullisen tutkijanarvioinnin ohjausryhmä arvioi suosituksen päivitystarpeet sekä seuraa ja edistää sen toimeenpanoa²⁵. Suomen Akatemia ja UNIFI ovat sitoutuneet kansalliseen suositukseen^{26, 27}.

TSV tulee allekirjoittamaan kansainvälisen vastuullisen arvioinnin sopimuksen syyskuussa 2022. Allekirjoittaneiden organisaatioiden tulee laatia toimintasuunnitelma omien arviointikäytänteidensä tarkistamiseksi vuoden 2023 loppuun mennessä ja toteuttaa muutoksia vuoteen 2027 mennessä. Tämä on hyvä aikaikkuna myös JUFO-luokituksen ja Julkaisufoorumin kehittämiselle.

Ehkä kiistanalaisin JUFO-luokituksen ominaisuus on tasoluokkien lukumäärä ja koko. Tänä vuonna tasojen 2 ja 3 osuutta julkaisukanavista laajennetaan²⁸. Silti on syytä arvioida kriittisesti eri käyttäjäryhmien kanssa 4-portaisen (0, 1, 2, 3) tasoluokituksen tarkoituksenmukaisuutta.

Vuonna 2021 valmistui JUFOn itsearviointi vuosien 2010–2020 toiminnasta²⁹. Itsearvioinnin panelistikyselyyn vastasi 170 eri alojen asiantuntijaa. Heistä 94 prosenttia piti tasojen 0 ja 1 välistä erottelua tärkeänä tai erittäin tärkeänä. Tasojen 1 ja 2 erottelun suhteen osuus oli 74 prosenttia ja tasojen 2 ja 3 osalta 35 prosenttia.

Vaikka pohjoismaiset julkaisukanavaluokitukset ovat huomattavasti inklusiivisempia kuin JIF:iin perustuvat lehtirankigit³⁰, JUFO-luokituksen käytön keskeisin haaste on sen perustuminen julkaisukanavaan. Luokitusta ei ole tarkoitettu DORA-julistuksen vastaisesti yksittäisen julkaisun tai tutkijan arviointiin, mutta se on yhtä altis väärinkäytölle kuin JIF³¹.

Onkin harkittava entistä huolellisemmin, mihin ja miten JUFOn tuottamaa arviointitietoa käytetään vastuullisesti. JUFO-luokituksen käyttöohjeen päivittäminen ja noudattaminen ovat osa vastuullisen arvioinnin uudistusta³².

Julkaisukanavien arviointiin liittyvä työmäärä oli yksi seikka, millä perusteltiin Tanskassa julkaisuindikaattorin lakkauttamista. Myös JUFOn itsearvioinnissa kiinnitettiin huomiota 23 paneelissa toimivan noin 250 asiantuntijan työmäärään. Todettiin, että JUFO-luokitus on rahoitusmallin tarpeisiin erittäin kustannustehokas laatuindikaattori³³. Jatkossa panelistien työmäärää kevennetään siirtämällä JUFOn sihteeristön tehtäväksi työtä, joka liittyy tasoluokan 1 muodollisten kriteerien tarkistamiseen.

Asiantuntija-arviointiin perustuvan luokituksen riippumattomuutta on myös kyseenalaistettu³⁴, ja tutkijat ja eri alojen edustajat voivat olla erimielisiä yksittäisten kanavien tasoluokista.

Kokonaisuutena asiantuntijapaneelien työhön voidaan kuitenkin luottaa suurten julkaisumäärien laadun mittarina³³. JUFO-luokituksen tuottamat tulokset ovat yhdenmukaisia suhteessa kansainvälisen viittausanalyysin ja Suomen Akatemian kansainvälisten asiantuntija-arviointien kanssa.

Korkeamman JUFO-luokan lehdissä julkaistu suomalainen tutkimus on kokonaisuutena keskimäärin huomattavasti viitatumpaa kuin alemman tasoluokan lehdissä julkaistu tutkimus²⁹. Suomalaisten yliopistojen Suomen Akatemian rahoituksella tuottamasta tutkimuksesta julkaistiin vuosina 2015–2018 JUFO-tason 2–3 kanavissa huomattavasti suurempi osuus (45 prosenttia) kuin yliopistoissa keskimäärin (32 prosenttia)³⁴.

Tieto siitä, missä lehdissä ja kustantajilla tutkimusta julkaistaan, on olennainen osa kansallisen tason kokonaiskuvaa tieteellisestä toiminnasta. Tämä tieto on tärkeää siihen katsomatta, käytetäänkö JUFO-luokitusta tavalla tai toisella yliopistojen rahoitusmallissa vai ei. Julkaisukanavien arviointi myös varmistaa kansallisten julkaisuaineistojen laatua¹¹. On tärkeää turvata julkaisutiedonkeruuseen ja Julkaisufoorumin toimintaan perustuvan kattavan tietopohjan jatkuvuus.

Julkaisufoorumi edistää ja tekee näkyväksi suomalaisen tutkimuksen laatua ja vaikuttavuutta. Rahoitusmallin ohella JUFO-luokituksen tuottamaa tietopohjaa on hyödynnetty useissa yliopistojen omissa tutkimuksen arvioinneissa^{35, 29} ja sisäisissä rahoitusmalleissa³⁶. Suomen Akatemian Tieteen tila 2022 -tilastoissa JUFO 2–3-tasojen osuutta julkaisuista on hyödynnetty, kun on tarkasteltu yliopistojen ja ammattikorkeakoulujen julkaisutoimintaa³⁷.

Tutkimustietovarannon näkökulmasta JUFO-portaali muodostaa tärkeän kansallisen tietolähteen julkaisukanavien laadusta ja avoimuudesta. Sinne on rekisteröity tiedot yli 35 000 julkaisukanavasta, jotka on arvioitu ja luokiteltu Julkaisufoorumissa. Kanavien laatua ja avointa saatavuutta koskeva monipuolinen tietopohja auttaa tutkijoita löytämään ja hyödyntämään luotettavia avoimen julkaisemisen mahdollisuuksia³⁸.

Julkaisufoorumin toiminnan kehittämisessä tulee huomioida, kuinka julkaisukanavien asiantuntija-arviointiin perustettu järjestelmä voi parhaalla tavalla tukea vastuullisen arvioinnin tavoitteita.

Uudistuksen keskeisiä tavoitteita on tiedeyhteisölähtöisen laadullisen arvioinnin lisääminen kaikilla tasoilla yliopistojen arvioinneista yksittäisten tutkijoiden arviointiin²². Tiedeyhteisön edustajista koostuvien asiantuntijapaneeleiden toimintamallia on mahdollista hyödyntää kansallisella tasolla monimuotoisten tuotosten ja aktiviteettien³⁹ sekä erilaisten kokonaisuuksien arviointiin.

Kuten Norjan rahoitustyöryhmä toteaa⁸, myöskään tieteellisten julkaisukanavien laadunarviointi ei ole menettämässä merkitystään. On arvioitu, että maailmassa julkaistaan yli 70 000 tieteellistä julkaisusarjaa, ja julkaisukanavien lukumäärä ja laatuvaihtelu kasvaa⁴⁰.

Myös avoimen tieteen aikakaudella tarvitaan foorumi, jossa erityisesti tutkijat tieteenalojensa parhaiden käytänteiden asiantuntijoina voivat arvioida julkaisukanavien laatua ja keskustella kriittisesti julkaisutoiminnan muutoksista.