Lars
sidste år
Måske er det tid for Djøf at se på forskernes arbejdsvilkår og -tid.
Kvalitetssikring
Travlhed sætter vitalt peer review-system under pres
16.6.2022
af
Casper Ravnsted-Larsen
Illustration: WeStudio/Shutterstock
Forskere siger oftere og oftere nej til at bedømme andres forskningsartikler. De mangler tid og incitamenter. Og spørgsmålet er, om en ny virkelighed med mange flere pre-prints er ved at overhale det klassiske kvalitetsmærke.
Det kræver som regel et grundigt kig i kalenderen, når Randi Starrfelt bliver kontaktet af en redaktør på et tidsskrift, der vil bede hende om at fagfællebedømme en artikel. Det kan nemlig være svært at finde tid til at evaluere andres arbejde, når éns egen kalender i forvejen er fyldt op.
”Hvis man eksempelvis kun har fået en uge til at reviewe, og man har tre møder den næste uge og skal til en konference, hvor man skal præsentere noget, så har man ikke tid til det oveni,” konstaterer Randi Starrfelt, der er professor ved Institut for Psykologi på Københavns Universitet.
Men det gør ondt at sige nej, for det slår både skår i den faglige stolthed og giver dårlig samvittighed, fordi hun kan få følelsen af ikke at bidrage til opretholdelsen af et vitalt fælles kvalitetssikringssystem.
”Man har jo lyst til at gå det der ekstra skridt, fordi man ved, der sidder nogle forskere på den anden side, som venter på at få deres arbejde bedømt,” siger hun.
Skal hun gætte på, hvor ofte hun selv siger nej, bliver hun lidt paf: Tre ud af fire gange!
”Det lyder voldsomt, når man selv siger det.”
Peer review-systemet er den mekanisme, der skal sikre kvaliteten og validiteten af den forskning, der bliver udgivet i tidsskrifterne. Typisk vil en forsker indsende sin artikel for at få den udgivet i et tidsskrift. Redaktøren finder andre forskere inden for samme fagområde, der kan vurdere, om eksempelvis datagrundlaget er tilstrækkeligt, eller metoden er den rigtige.
Men efterhånden er systemet så meget under pres, fordi forskere siger nej til at være bedømmere, at flere eksperter og redaktører, nyhedsbrevet Forskeren har talt med, ser klare opløsningstendenser. Samtidig udgiver forskere i højere og højere grad deres artikler, før de bliver bedømt, som såkaldte pre-prints.
Flere artikler, færre incitamenter
Hos Dansk Center for Forskningsanalyse ved Aarhus Universitet har postdoc Serge Horbach undersøgt peer review-systemet, og han mener, at ”vi potentielt er på vej mod det punkt, hvor man ikke længere kan finde bedømmere.”
Hans forskning peger på en voldsomt stigende mængde af tidsskrifter og forskningsartikler, der skal bedømmes. En opgørelse fra 2018 viste, at der blev publiceret cirka 2,5 millioner artikler om året på verdensplan. Ifølge Serge Horbach blev der i 2021 publiceret godt tre millioner, og antallet stiger med tre-fem procent hvert år.
”Artikler er stadig den primære valuta i den akademiske verden. Du er bare nødt til at udgive mange artikler, for det er dem, der skaffer dig jobmuligheder, bevillinger og nye projekter osv. Og på et tidspunkt skal alle de artikler jo bedømmes,” siger han.
Serge Horbach er ved siden af sin egen forskning selv redaktør for to tidsskrifter. Han anslår, at han gennemsnitligt kontakter 20 personer for at finde to eller tre, der kan bedømme en artikel. Af og til må han kontakte 50.
Man kan som forsker ikke registrere den tid, man bruger som fagfællebedømmer, og man kan end ikke bruge det til noget på sit cv. Peer review foregår i egen forskningstid eller fritiden. Der mangler simpelthen anerkendelse af arbejdet, påpeger Serge Horbach, der kun kan komme i tanke om en enkelt fordel ved at bruge tid på at bedømme andres arbejde.
”Man får mulighed for at læse nye artikler før andre, så du bevæger dig naturligvis i spidsen af forskningssystemet. Men det er dét,” siger han og indvender selv, at den fordel slet ikke er så stor:
”Hvis du i stedet læser artiklen, to uger efter den er udkommet, er du stadig med fremme, og du skal ikke bruge tid på at skrive bedømmelsesrapporten. Og for at lave den på en konstruktiv måde kræver det tid. Folk siger, at de gennemsnitligt bruger mellem en halv og en hel dag på hver artikel, de bedømmer.”
Martin Marcussen er ansvarshavende redaktør for tidsskriftet Økonomi & Politik og kalder peer review-systemet ”hårdt belastet”.
”Det tager lang tid at få de nødvendige reviewere i hus. Det er enormt besværligt. For 25 år siden var det noget, man pralede med på sit cv, og man kunne promovere sig selv ved, at man var kommet i stald hos nogle af de gode tidsskrifter. I dag kan det være træls at blive spurgt, fordi man må sige nej,” siger han.
Ud over den manglende anerkendelse, den manglende meritering for arbejdet og det stigende antal artikler og tidsskrifter, peger han på, at det i mange tidsskrifter – særligt de store internationale – er blevet en mere omfangsrig og rigid proces at lave et review.
”Før var det sådan, at man havde direkte kontakt med den ansvarshavende redaktør og udfoldede sin prosa om, hvad der skulle laves om, og om det var publicerbart. Man tog stilling med sin faglige ballast til, om bogen eller artiklen havde opnået en kvalitet, hvor det var tæt på eller kunne publiceres,” fortæller han.
I dag skal bedømmeren ofte forholde sig til forskellige reviewsystemer med brugerprofil og adgangskoder hvert sted, hvorefter hun skal sætte sig ind i det enkelte system. Og så kan den gode kritik gå tabt i skemaer og automatikker, lyder det.
”Systemet beder om svar på nogle spørgsmål, som ikke er relevante, fordi det helt store problem med artiklen ligger et helt andet sted. Der er ikke plads til at freestyle i de systemer.”
Det er en kollegial stopklods. Og hvis den er i krise, så har vi et problem
Martin Marcussen, ansv. redaktør, Økonomi & Politik
Den kollegiale etik
Det dobbelt-blinde peer review-system er den langt mest anvendte model for fagfællebedømmelse inden for de samfundsfaglige videnskaber verden over. I det dobbelt-blinde ligger, at hverken forfatteren eller bedømmeren kender hinandens identitet – ud fra et ideal om, at bedømmelsen udelukkende skal være lavet ud fra faglige hensyn.
”Vi kigger på artiklerne, før de bliver udgivet som kvalitetssikringsmekanisme, hvor vi har mulighed for at sortere uholdbar, usand og dårlig forskning fra og sørge for, det ikke kommer ud i offentligheden. Altså en gatekeeping-mekanisme,” forklarer Serge Horbach og fortsætter:
”For det andet er det en kvalitetsforbedringsmekanisme. Bedømmerne, der er eksperter på det givne felt, skriver feedback om, hvordan artikel og analysen kan forbedres, hvordan man forbinder artiklen bedre til tidligere forskning på området osv.”
Martin Marcussen kalder systemer for ”krumtappen i klassisk grundforskning” og ”helt centralt på alle punkter”.
”Det er en kollegial stopklods. Og hvis den er i krise, så har vi et problem,” siger han.
For Peter Munk Christiansen, der er professor og institutleder på Institut for Statskundskab på Aarhus Universitet og bl.a. har været bestyrelsesformand i Danmarks Frie Forskningsfond, er peer review-systemet et stort økosystem, der eksisterer, i kraft af at alle bidrager.
”Det er jo en rigtig vigtig del af den kollegiale produktionsproces, som den sker overalt i vores del af verden. Når vi reviewer, er det jo ud fra både en nytteetisk og en pligtetisk idé om, at når jeg gerne vil have folk til at bruge tid på mine artikler, så må jeg jo selv bidrage også,” siger han og fortsætter:
”Men man skal jo ikke være meget politolog for at se, at her ligger en mulighed for at være fribytter – nemlig hvis man gerne vil trække på andres kommentarer, men nægter at bedømme selv.”
Tid til at tænke nyt
I det tankeeksperiment, at der findes en dag ude i fremtiden, hvor der ikke er en eneste forsker tilbage, der siger ja til at være reviewer, forestiller Peter Munk Christiansen sig dels, at de tidsskrifter, der har penge til det, vil begynde at betale honorarer for det.
Dels forestiller han sig, at institutter rundt omkring vil lave interne review-processer. Og hvor det kan virke troværdigt, at kolleger fra et institut på eksempelvis Harvard University har bedømt en artikel, kan man ikke være sikret, at kvaliteten er i orden fra rigtig mange af de tusindvis af andre institutter, der findes rundt omkring i verden, frygter han. Og så vil kvalitetssikringen gå tabt.
”Det er jo bekymrende i en tid, hvor vi taler om tab af sandhed, konstruerede fakta, myter og forestillinger,” siger han.
Martin Marcussen har oplevet situationer, hvor det har været umuligt at finde bedømmere til artiklerne i Økonomi & Politik. Her har han selv og redaktøren for det pågældende temanummer måttet i gang med at vurdere, om forskningen i artiklerne var valid nok til at blive publiceret.
Men det er ikke en holdbar løsning, mener han, for nogle gange vil emnerne jo ligge i periferien af, hvad han selv eller andre redaktører er eksperter i.
”Samlet set er vi nok nået til et punkt, hvor man kan sige: Vi er enige om, at der er et problem. Skal vi til at udvikle andre kvalitetssikringsmetoder?” spørger han.
Han har selv arbejdet med en reviewproces, hvor alle bidragsydere til et givent temanummer af Økonomi & Politik bliver inviteret til et seminar, hvor de på forhånd har læst hinandens artikler. De bruger så en halv eller hel dag på at gennemgå hinandens arbejde.
”Det sker i al åbenhed, og det er ikke den skjulte proces, man kunne foretrække. Men det er dog en form for kvalitetssikring, som er baseret på den idé, at når forskere taler sammen, vil samtalen føre til at bedre produkt i sidste ende. Det er ikke bedre end dobbelt-blind, der stadig er den bedste. Men det er også dén, der ikke fungerer,” siger han.
Serge Horbach kalder den idé for ”meget interessant”. Formen minder om, hvordan peer review blev gjort tilbage i tiden, hvor man havde redaktionskomitéer. Men den ville nok virke bedst i små specifikke fagfællesskaber og være sværere at organisere for større, internationale felter, siger han.
”Det er stadig en fin måde at bevæge sig fremad, og det ligner mere samarbejdsorienterede peer review-former, som andre tidsskrifter eksperimenterer med, hvor de sender artiklen ud til et bredere fællesskab, der ikke kun består af forskere, men også fagfolk.”
Man skal jo ikke være meget politolog for at se, at her ligger en mulighed for at være fribytter – nemlig hvis man gerne vil trække på andres kommentarer, men nægter at bedømme selv
Peter Munk Christiansen, institutleder og tidl. bestyrelsesformand i Danmarks Frie Forskningsfond
Det eksisterende dobbelt-blinde peer review-system er da heller ikke fejlfrit, mener Peter Munk Christiansen. Han har svært ved at komme i tanke om alternativer, men han overvejer, om regulering af de store tidsskrifters afkast kunne være et værktøj, der ville sende penge tilbage til forskningen som helhed og ikke kun til de forskere, tidsskrifterne vælger at betale.
Desværre, bemærker han, har det historisk set været svært at regulere de store forlag i EU-regi, fordi deres hjemlande typisk er imod reguleringen. Måske skal man derfor måske tænke i andre baner:
”En af de diskussioner, vi har i europæiske forskningscirkler, er: Er vi nu så sikre på, at det er vigtigt at få målt alt med kvantitet frem for kvalitet? Hvad med færre, men bedre artikler? Men hvordan får vi tilskyndet folk til det?” siger han.
Pandemien accelererede brug af pre-prints
Serge Horbach har i sin forskning kunnet se, at det under corona-pandemien er blevet langt mere almindeligt for forskere at publicere deres forskningsartikler, før de bliver fagfællebedømt, som såkaldte pre-prints. Ifølge forskeren blev omkring 200.000 artikler udgivet som pre-prints i 2021 – dobbelt så mange som i 2020.
På pre-print-platforme kan forskere uploade deres artikler og så mere eller mindre håbe på, at deres fagfæller frivilligt går ind på platformen og bedømmer artiklen. Herefter kan man uploade en forbedret version af artiklen, hvis der altså ikke ligefrem er nogen, der har klassificeret den som uredelig eller lignende.
Det er en metode, der er blevet brugt af discipliner som fysik og matematik i årtier, forklarer Serge Horbach, men nu følger også psykologi og samfundsvidenskaberne hurtigt efter.
”På en overordnet skala vil jeg gætte på, at om fem eller 10 år vil størstedelen af forskning blive udgivet gennem sådan et system.”
Et af de centrale dilemmaer ved de åbne platforme er ifølge Serge Horbach, at viden ikke længere bliver certificeret. Hvordan kan vi så sikre videnskabens troværdighed, spørger han.
Tilhængere af pre-prints vil omvendt argumentere for, at en ekspert på et område vil kunne vurdere kvaliteten og troværdigheden af et stykke forskning, uanset om det er fagfællebedømt eller ej. Og de vil argumentere for, at der også slap meget nonsens igennem i det gamle system.
Men uanset hvad vurderer Serge Horbach, at ”når man lægger det ud i det åbne, vil også mindre kvalificerede læsere også gå derind, og for dem er det langt vanskeligere at kende forskel på høj eller lav kvalitet i forskningen.”
Denne artikel stammer fra vores månedlige nyhedsbrev, Forskeren. Det kan du abonnere på ved at tilmelde dig her.
Artiklen fortsætter efter annoncen
Ledige stillinger
ANNONCE
Kommentarer
DJØF ARRANGEMENTER OG KURSER