Den kvantifierade forskaren och vetenskapens likriktning

Publicerad den februari 28, 2023 av bjornhammarfelt

Svara

Fysikprofessorn Jorge E. Hirsch tvekade, var verkligen den relativt simpla metod för att utvärdera forskare som han skissat på något att publicera? I början på augusti 2005 bestämde sig Hirsch och skickade in det fyra-sidiga manuskript där det index som skulle bära hans namn beskrevs. Hirsch kreation var ett kombinerat mått som påstods mäta både produktivitet och inflytande, och för den som kvickt ville jämföra forskares prestationer så var indikatorns enkelhet lockande. H-indexet blev således snabbt mycket populärt, inte minst eftersom det var enkelt att räkna ut: h-index för en forskare är det antal publikationer (h) av forskaren som citerats minst (h) gånger. Den som författat 7 artiklar som citerats minst 7 gånger vardera har således ett h-index 7. Trots omfattande kritik har måttet fått en central position, om än omstridd, när forskare utvärderas. Rentav har h-index kommit att symbolisera en era präglad av ett stort fokus på mätning och utvärdering av vetenskapen och dess företrädare. Under senare år har också ett allt större vetenskapssociologiskt intresse riktats emot de effekter som det ständiga utvärderandet och mätandet får. Leder mätandet till genuint bättre kvalité på forskningen eller enbart till överproduktion av relativt meningslösa publikationer? Och hur formar utvärderingen karriärer och akademiskt arbete: Ger de goda incitament och neutrala spelregler, eller resulterat de i en individcentrerad tävlan efter mätbara prestationer som uppmuntrar till fusk och manipulering? Dessa frågor kommer dryftas nedan utifrån nedslag i en internationell diskussion kring mätningens konsekvenser inom akademin.

Även om h-indexet är ett relativt nytt påfund så är själva räknandet av publikationer inom akademin knappast något nytt. Tidiga exempel på hur akademiska lärare bedömts utifrån sina publikationsmeriter sträcker sig tillbaka till det moderna universitets födelse i Tyskland, och under det tidiga 1800-talet sägs ryska professorers lön ha varit direkt avhängig den årliga produktionen av vetenskapliga alster. Ursprunget till de mått som idag fått en stor betydelse kan dock spåras till 1970-talets början. Det var då Eugene Garfield, grundaren av Science Citation Index, lanserade det mått som fick namnet ”impact factor”, vilket i praktiken utgjorde en detaljerad rankning av tidskrifter baserat på hur ofta de citeras under en tvåårsperiod. Det sägs att forskare – innan resultaten fanns lättillgängliga på webben – flockades kring de anslagstavlor där de senaste uppdateringarna kring tidskrifternas noteringar annonserades. Journal Impact factor (JIF), som indikatorn kom att kallas, fick ett snabbt genomslag, och upprepade studier har visat hur forskare inte enbart väljer var de ska publicera sina rön utifrån detta mått, utan också vilken forskning de ska bedriva. Tidskrifterna själva basunerar ut eventuella förbättringar på sina hemsidor och tackar även de författare som bidragit till framgången genom att publicera sig i tidskriften. Slutsatserna från de studier som analyserat impact factorns påverkan är tydlig: Istället för att vara ett sätt att mäta om målet, i detta fall god forskningskvalitet, uppnåtts så har indikatorn blivit ett mål i sig. Det viktigaste för en forskares framtida karriär blir då inte att producera relevant och högkvalitativ forskning per se, utan att frambringa publikationer som kan publiceras i högt rankade tidskrifter.

I den inflytelserika boken What are Universities for? (Penguin Press 2012) liknar Stefan Collini effekterna av mätning och utvärdering vid etablerandet av ett ”Champions League” för universitet. Främst syftar han i detta sammanhang på den omfattande utvärderingsapparat – numera med namnet Research Excellence Framework (REF) – som brittisk akademi regelbundet utsätts för. Omfattningen av REF har ökat genom åren och innehåller numera även delar som söker mäta forskningens samhälleliga påverkan. Själva selekteringen av de verk som ska bedömas är nyckeln för den institution som vill påverka sin rankning. Det kan exempelvis vara taktiskt att bara välja de allra bästa publikationerna, det vill säga de alster som publicerats av topprankade tidskrifter och förlag. Detta i sin tur leder enligt kritikerna till en uppdelning av forskare i ett A- och ett B-lag, där de förstnämnda är de vilkas publikationer räknas och värderas. Eftersom professorer med många “excellenta” publikationer blir särskilt värdefulla har även en sorts transfermarknad för akademiker etablerats. Konsekvenserna för den enskilda forskarens karriär och för de enheter som bedöms kan vara betydande. Men utvärderingen förändrar inte bara vem som forskar, utan också vad det forskas på. Val av ämne, problem, metod, och teoretisk inramning påverkas av hur utvärderingenssystemen är konstruerade: Ett tydligt exempel, också detta från brittisk akademi, är hur forskare och vetenskapliga projekt som sträcker sig över disciplinära gränser tenderar att missgynnas.

Just de epistemologiska effekterna av utvärderingen står i centrum för Juan Pablo Pardo-Guerras ingående studie The Quantified Scholar: How Research Evaluations Transformed the British Social Sciences (Columbia University Press 2022). Här studeras förändringar inom samhällsvetenskapernas ämnesmässiga orientering under mer än 30 år, och hur dessa kan relateras till det omfattande utvärderingsmaskineri som präglat brittisk akademi. Dock ska det betonas, som Pardo-Guerra gör, att det är de institutioner som strävar uppåt som starkast tar intryck av utvärderingssystem och rankinglistor. Kända och välrenommerade universitet som Cambridge eller Oxford befinner sig redan på toppen av statushierarkin och behöver därmed inte den bekräftelse som rankningar av olika slag erbjuder. Slående i all den litteratur som studerar utvärderingarnas och mätandets effekter är hur de nästan alltid tenderar att förstärka vedertagna hierarkier. Detta är dock knappast förvånande med tanke på att traditionell peer review och även citeringar tar sin utgångpunkt i en redan existerande prestigeekonomi inom vetenskapen.

Det verkligt nydanande i Pardo-Guerras ambitiösa ansats är att den kombinerar storskaliga studier avseende disciplinära förändringar i ämnesvokabulären med mer kvalitativa metoder. Detta möjliggör en djupare förståelse av hur utvärderingssystemen påverkar inriktning och fokus inom specifika fält och discipliner. En genomgående slutsats är att utvärderingen resulterat i en ökad homogenisering av forskningens innehåll där institutioner exempelvis inom sociologi tenderar att alltmer likna varandra. Oron för en tilltagande likriktning av vetenskapen har hitintills främst dryftats bland humanister och delar av samhällsvetenskapen. Särskilt har förändringar i hur forskningen kommuniceras – där en ökande andel av engelskspråkiga artiklar framhållits – betraktas som en gradvis förlust av humanioras särart till förmån för de traditioner som präglar samhälls- och naturvetenskap. För Pardo-Guerras undersökning står dock förändringar gällande ämne, teori och metod i centrum. En starkt bidragande orsak till likriktningen är det brittiska utvärderingssystemet fokus på excellens där excellens främst förstås som publikationer i topptidskrifter. Dessa, ofta amerikanska, tidskrifter är i sin tur mycket selektiva i vad de publicerar och för att kvalificera sig så behöver forskningen därför ligga nära en tänkt disciplinär kärna. Liknande observationer, då i en svensk kontext, har gjorts av Anders Hylmö, i Disciplined Reasoning: Styles of Reasoning and the Mainstream-heterodoxy Divide in Swedish Economics (Lund 2018).Inom nationalekonomin är fokus på ett antal topptidskrifter – ibland kallade “de fem stora”– än mer uttalat och de normer som gäller för dessa styr de frågor som ställs och de metoder som används. Tesen om en tilltagande homogenisering av ämnesval och därmed också ett stärkande av disciplinära gränser framstår som väl underbyggd i flera nationella och disciplinära kontexter. Däremot är det svårare, för att inte säga direkt omöjligt att finna direkta kausala kopplingar mellan specifika system för utvärdering, och epistemologiska förändringar i forskningens inriktning. Då vetenskapen är situerad i ett vidsträckt utvärderingslandskap som sträcker sig över både land- och disciplingränser blir det snart omöjligt att urskilja effekten av ett specifikt system. Frågan är alltså om den likriktning som Pardo-Guerra observerar är unik för brittisk akademi, eller som det snarare är ett fenomen som präglar vetenskapen i stort. Dock är det uppenbart att mätandet och utvärderandet, oavsett kontext, leder till att mer produceras av det som räknas, och mindre av det som inte räknas.

Hur kan då mångfalden bevaras och den ökade likriktningen hejdas? I detta hänseende framhåller Pardo-Guerra det lokala akademiska ledarskapet som särskilt betydelsefullt för de effekter som utvärderingen kan tänkas få. När chefer anammar mätandet i den dagliga styrningen av verksamheten leder detta till en ökad påverkan på forskningens fokus. Akademiska ledare som däremot medvetet mildrar utvärderandets effekter kan begränsa effekten av indikatorer och externa utvärderingar. Liknande slutsatser drar Johan Söderlind i sin avhandling A Metric Culture in Academia: The Influence of Performance Measurement on the Academic Culture of Swedish Universities (Kungliga Tekniska högskolan, 2020). Det visar sig nämligen att många chefer intar en medlande position då de kontextualiserar och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en direkt avgörande roll när beslut fattas.

Att utvärdering får effekter är knappast förvånande. Att indikatorer och rankningar inbjuder till strategisk manipulering eller rentav fusk torde inte heller vara någon större överraskning. Otaliga exempel finns dokumenterade i litteraturen, och ett av dessa är Ike Antkare som 2010 var en av de mest citerade forskarna i världen. Med ett h-index på 94 i Google Scholar så placerade han sig förre storheter som Albert Einstein och Alan Turing på listan över de som flitigast referats av andra. Antkare – vars namn ska uttydas “Jag bryr mig inte” på engelska – var dock en påhittad figur. Alla de publikationer som räknades denna fiktiva författare tillgodo hade genererats av ett dataprogram, och därefter accepterats av en uppsjö av tvivelaktiga konferenser och tidskrifter. Exemplet Antkare bör kanske i likhet med många liknande bluffar främst ses som ett raffinerat spratt med de mer tveksamma delar av den akademiska publiceringsindustrin. Samtidigt illustrerar de hur enkelt det är att lura systemet, och manipulationer sker ständigt: Den opportunistiska forskaren kan höja sitt index med hjälp av överdrivet självciterande, den sluge redaktören bilda en citeringskartell, och ett universitet kan rekrytera högt citerade forskare bara för att på så sätt stiga i de omtvistade, men ack så inflytelserika rankningarna av lärosäten. Flera av dessa tvivelaktiga och ibland rent bedrägliga beteenden diskuteras i antologin Gaming the Metrics: Misconduct and Manipulation in Academic Research (MIT Press 2020) där Mario Baigioli och Alexandra Lippman samlat en rad bidrag på temat fusk och manipulering. En gemensam ambition från flera författare i denna volym är att visa på hur en akademi som är allt mer fokuserad på mätning också resulterar i en rad nya sätt på vilken aktörer kan fiffla och luras för att tillskansa sig en fördel. Akademins hierarkier är trögrörliga och för den forskare, tidskrift, eller för den delen det lärosäte som snabbt vill höja sitt anseende utgör manipuleringen av publikations- och citeringsmått en möjlighet att snabbt avancera. Om fusk tidigare främst rörde tillblivelsen av forskning genom exempelvis fabrikationen av data, så rör dessa nya tvivelaktiga praktiker även själva publiceringen och dess mottagande i forskarsamhället.

Det mest oroande är dock inte de exempel på riktiga fuskare eller de raffinerade akademiska spratt som återges i antologin. Visst är den tjeckiska forskare som skapade en hel rad av internationella blufftidskrifter i vilka han publicerade artiklar samförfattade med påhittade forskare upprörande, och exemplen – likt Antkare – på hur system kan manipuleras är både underhållande och illustrativa. Men verkligen bekymmersamt är hur gränsen mellan legitim manövrering utifrån de incitament som mått och indikatorer ger och ren cynisk manipulation alltmer ser ut att suddas ut. Exempelvis kan framväxten av tvivelaktiga tidskrifter (ibland kallade rovdjurstidskrifter) ses som avhängig en logik där publicering i internationella tidskrifter utgör en nu snart universell mall för akademisk framgång. För dem som inte har tillgång till de prestigefyllda titlar som tillhandahålls av stora kommersiella förlag blir mer dubiösa initiativ attraktiva. Som Sarah de Rijcke och Tereza Stöckelova hävdar i sitt bidrag: De tveksamma tidskrifterna utgör inte en motpol till de stora förlagen, snarare drar de en kommersiell logik – där internationell excellens och prestige är det främsta säljargumentet – till sin yttersta spets. Vårt fokus bör alltså inte ligga på att urskilja enskilda fuskare. Snarare är det den akademiska spelplanen i sig som behöver reformeras.

Hur kan då detta ske och vilket hopp finns för en verksamhet som är så pass marinerad i mått, indikatorer och utvärderingssystem? Ett första steg för att åstadkomma förändring är att fundera på hur vi hamnade i denna situation. Guerra-Pardo framhåller att vi inte kan reducera fenomenet av den kvantifierade forskaren till ett senmodernt nyliberalt påfund, även om flera styrningsmodeller säkerligen hämtat inspiration från sådana idéströmningar. Inte heller kan forskarsamhället enbart skylla alla dessa mått och indikatorer på utomstående, snarare har vi själva – likt Hirsch – både skapat mått och indikatorer och dessutom låtit dem få den stora betydelse de nu har. Ett erkännande av vetenskapssamhällets eget ansvar bär också på insikten att forskarna själva har stora möjligheter att verka för förändring. Den betydande kritiken mot mätandet och dess konsekvenser har också resulterat i en rad förslag på hur forskningen kan befrias från ”mätandets tyranni”. Ett svar formulerat av ledande bibliometriker har varit att det inte är metoderna och måtten i sig som är problematiska utan hur de (miss)brukas. Lösningen, enligt exempelvis författarna av volymen Becoming Metric Wise (Chandos Publishing 2018) är istället mer avancerade indikatorer och större expertis. Vi behöver inte mindre mått, utan bättre sådana. Emot en sådan ståndpunkt kan det anföras att fler än 100 olika indikatorer för att mäta enskilda forskares produktivitet utvecklats bara under senare år. Jakten på det perfekta måttet, den mest raffinerade indikatorn kommer att fortsätta, men det är knappast någon lösning på de problem som skisserats ovan. En mer skeptisk hållning, ofta inspirerad av en allmän kritik av mätningens effekter såsom den finns formulerad i exempelvis Jerry Mullers The Tyranny of Metrics (Princeton University Press 2018), eller för den delen i Jonna Bornemarks Det omätbaras renässans (Volante 2018), argumenterar snarare för ett avskaffande av bibliometriska mått överhuvudtaget. Ett sådan position intar exempelvis Olof Hallonsten i en nyligen publicerad artikel med den talande titeln ”Stop evaluating science” där han utifrån en historisk och vetenskapssociologisk analys menar att mätandet är direkt skadligt för vetenskapens autonomi och framåtskridande. En tredje ståndpunkt i denna debatt landar i vad som kan betecknas som en realistisk kompromiss. Utgångspunkten för denna position, som vi kan kalla reformistisk, är att bibliometriska indikatorer bör användas med försiktighet och med en ständig medvetenhet om den kontexten där de appliceras. Det så kallade Leidenmanifestet (2015) förespråkar ett sådant synsätt, och dylika tankar har också fått fäste inom EU där en reformation av hur forskning utvärderas har kopplats till en bredare agenda kring öppen vetenskap. Även Pardo-Guerra syns förespråka ett reformistiskt förhållningssätt, där särskilt kollegial tillit och solidaritet framhålls som centrala för att motverka utvärderingsmaskineriets negativa konsekvenser.

När Hirsch långt senare reflekterade över h-indexets genomslag så fann han en parallell i Goethes litterära ballad om Trollkarlens lärling. Det mått han uppfunnit var nu utanför upphovsmannens kontroll och dess effekter var större än Hirsch någonsin kunnat ana. En liknande uppgivenhet kan säkert många uppleva då de ställs inför den uppsjö av utvärderingar och mätningar som präglar den nutida vetenskapen. Det finns dock hopp. För även om kvantifieringen av forskningen svårligen kan stoppas helt så finns det tydliga tecken på en kritisk agenda fått allt större gehör. Kanske är det trots allt möjligt att bryta kvantifikationens förtrollning.

Denna text är en utökad version av artikeln ”Vetenskaplig variant av jakten på retweets” SvD Under strecket, 1/3 2023.

15 000 år av gratisarbete. Om framtiden för peer review.

Publicerad den november 26, 2021 av bjornhammarfelt

Svara

Referentgranskning, eller peer review, innebär att inskickade manuskript granskas av ämnesexperter innan publicering. Processen kan se olika ut beroende på ämne och typ av publikation, och ofta görs en skillnad mellan öppen, blind och dubbelblind peer review. Blind innebär att granskaren är anonym, och dubbelblind att både granskare och författare förblir okända för varandra under processen. Noterbart är att den typ av referentgranskning som idag är praxis inom stora delar av vetenskapen etablerades relativt sent. Exempelvis var det först 1973 som tidskriften Nature började kräva extern granskning innan publicering. Ibland beskrivs referentsystemet, med en parafras på Winston Churchills välkända citat[i] om demokratin, som det sämsta systemet för att kvalitetsgranska forskning, förutom alla andra som prövats. Omfattande kritik har också riktats mot peer review där upprepade studier funnit att referentgranskning kan gynna män över kvinnor, riskerar att stärka hierarkier inom vetenskapen, och tenderar att ha en konserverande effekt där etablerade synsätt föredras framför mer nydanande idéer.

Förutom dessa invändningar kring peer review så ifrågasätts systemet nu alltmer utifrån den betydande arbetsbörda som det innebär för forskare att granska artiklar. En uppmärksammad studie kring kostnaden för referentgranskning som nyligen publicerades har gjort frågan än mer aktuell. Studien visade nämligen att forskare världen över lagt åtminstone – siffrorna är säkerligen i underkant – 100 miljoner timmar (motsvarande 15 000 år) på att granska manuskript under 2020. En överväldigande del av detta arbete sker utan ersättning från förlag eller den institution där granskaren är anställd. Således upprätthålls den kanske viktigaste funktionen i vetenskapens kvalitetssystem genom att forskare upplåter betydande delar av sin fritid till att läsa och granska andras forskning. Det märkliga är inte att systemet står inför en betydande kris där det blir allt svårare att rekrytera granskare, snarare är det förvånande att peer review-förfarandet kunnat fungera så väl, så pass länge, utan att bryta samman.

Svårigheten med att hitta villiga granskare har under senare år blivit allt mer uppenbar, och studier indikerar också att alltfler förfrågningar behöver göras för att hitta granskare som antar uppdraget. Flera initiativ och förslag har gjorts för att öka benägenheten att åta sig referentuppdrag. Det mest logiska, men samtidigt kanske det mest omtvistade, är att helt enkelt betala granskare. Detta görs redan i viss utsträckning vid granskning av böcker och bokkapitel, och det finns dessutom företag som säljer referentgranskningar till tidskrifter. Det finns även de som hävdar att forskarna själva bör fakturera tidskrifterna för sitt arbete – särskilt de som ägs av multinationella företag med stora vinstmarginaler – och att en lämplig ersättning vore 450 dollar (cirka 4000 kronor) per granskning. Dock uppstår specifika problem med ett sådant upplägg, dels skulle det leda till en uppdelning mellan tidskrifter som har råd att betala, och de som måste förlita sig på frivilliga granskare, dels skulle tidskrifterna i ett sådant fall behöva betala också för det många manuskript som aldrig antas. Förmodligen skulle ett system med betald referentgranskning resultera i att ett mindre antal manuskript totalt sett skulle undergå review. En utveckling som troligtvis inte skulle höja kvalitén på forskningen överlag.

Ett annat förslag, som också går ut på att belöna forskarna för deras insats, är att höja meritvärdet genom att öppet kreditera granskare. Det mest kända, och spridda, systemet för att göra detta är Publons en databas och portal där genomförda granskningsuppdrag registreras. Numera ägs Publons av Clarivate (Web of Science) och profilen över granskande forskare innehåller också data kring antalet publikationer och citeringar. Antalet granskningar blir här ytterligare en kvantifierbar indikator som kan jämföras, mätas och rankas. Exempelvis kan flitiga forskare utnämnas till “top reviewer” eller “excellent reviewer”. Givetvis bör goda granskare få erkännande för sin insats, men frågan är om det är mer av kvantifiering och “excellenstänk” som är vägen framåt? Personligen ställer jag mig tveksamt till denna utveckling, och snarare skulle jag förorda mer traditionella sätt att uppmärksamma granskare som exempelvis att välja in noggranna och flitiga reviewers i redaktionsråd och liknande för att på detta sätt belöna dem.

Ett initiativ som går i en lite annan riktning är arbetet för öppen peer review. Idén med öppen peer review är att ett transparent förfarande ska göra referentgranskningen bättre, mer rättvis och kanske även mer attraktiv för granskaren. Öppen granskning har förekommit under en längre tid i olika former. Ibland sker processen helt transparent, och i andra fall publiceras granskningarna enbart när en artikel blivit accepterad. Ett tidigt exempel på öppen granskning är F1000Research, som publicerar artiklar som därefter granskas. Här, och inom flera andra tidiga initiativ rör det sig alltså om så kallad ‘post-publication review’ där granskning sker efter att manuskriptet publicerats online. En liknande plattform har också lanserats inom det Europeiska forskningssystemet där Open Research Europe erbjuder snabb och öppen publicering med öppen referentgranskning. Den främsta invändningen mot öppen granskning är risken att mer juniora forskare skulle uppleva att det var svårt att då kritisera mer seniora kollegor. En risk, som jag ser det, är också att öppen review kan fungera väl när det gäller mer etablerade tidskrifter, men att det kan vara svårare att locka granskare att utföra granskningarna öppet när kvaliteten är lägre, och där forumet är mindre prestigefyllt.

I väntan på dessa mer omvälvande förändringar av peer review systemet så går det att öka chanserna för att hitta villiga granskare även på andra sätt. Exempelvis så fann Tomas Bro och undertecknad att ett effektivt sätt för att hitta granskare är att utöka den grupp av forskare som bjuds in. Så löste nämligen den tidskrift, Acta Ophthalmologica, som vi studerade det ökade behovet av reviewers. Dock såg vi i denna studie, vilket också påvisats av andra, att amerikanska forskare bjuds in oftare än de borde i relation till hur ofta de publicerar sig, samtidigt som det omvända gäller för asiatiska forskare vilka borde tillfrågas som granskare oftare med tanke på deras andel av publicerade artiklar. En bidragande orsak till svårigheten att hitta granskare är således att redaktörer för tidskrifter – vilka ofta själva är från Europa eller USA – i (för) hög grad förlitar sig på närliggande nätverk. En jämnare fördelning av granskningsuppdragen globalt kunde således vara en möjlig strategi för att både undvika “granskartrötthet” och på samma gång verka för ett publikationslandskap där även de utanför Europa och USA har ett betydande inflytande. Att dela på bördan, men också på den betydande inflytande som granskare har, skulle således kunna vara en möjlig väg framåt.

Alla dessa goda förslag till trots så skulle jag vilja hävda att referentgranskningssystemets överlevnad ändå är beroende av ett gemensamt ansvarstagande inom akademin. Peer review är en gemensam resurs som vi alla delar, och förhoppningsvis bidrar till, och det är också detta som upprätthåller legitimiteten i systemet. De 15 000 år som omnämns ovan må vara obetalda, men samtidigt oerhört värdefulla för vetenskapen i stort. Därför kan jag heller inte låta bli att betrakta alla dessa obetalda insatser som ett tecken på att idén om vetenskapen, som en gemensam strävan efter mer kunskap där inte alla insatser görs för den individuella vinningens skull, ännu inte riktigt kan förklaras död.

[Bild: Niklas Bildhauer, CC BY-SA 2.0 <https://creativecommons.org/licenses/by-sa/2.0%5D

[i] Likt många andra kända citat så verkar Churchills ord delvis ha förvrängts över tid: https://prawfsblawg.blogs.com/prawfsblawg/2019/01/misquoting-churchill-on-democracy.html

Citera mig inte! Om ovälkomna och vilseledande referenser

Publicerad den maj 26, 2021 av bjornhammarfelt

Svara

Att bli omnämnd i litteraturen anses generellt vara ett tecken på erkännande, och om referensen plockas upp av ett citeringsindex, likt Google Scholar eller Web of Science så registreras även en ‘citering’ (citation) som den enskilde författaren kan lägga till sin samling. När citeringarna samlats på hög kan de sedan räknas, jämföras och användas som en, om än tveksam, indikator på synlighet och framgång. Som tidigt påpekats i diskussionen kring citeringar så kan mycket väl ett verk refereras till utan att det för den skull behöver innebära att det som hävdas i det framhålls som god vetenskap, och så kallade ‘negativa citeringar’ har varit ett ofta förekommande argument emot citeringsmåttens giltighet. Dock är det så att negativa citeringar – det vill säga referenser till studier som kritiseras i den citerande texten – är ovanliga, även om de är mer flitigt förekommande inom humaniora och samhällsvetenskap jämfört med andra fält. Dessutom vill jag hävda att negativa citeringar ofta är ett tecken på erkännande, då få finner det mödan värt att kritisera rön som inte är etablerade och kända. På ett rent personligt plan så finner jag det också mer givande att mina alster blir kritiserade då det tyder på engagemang, jämfört med att de refereras lite halvhjärtat i en parentes med fem andra liknande studier. Överlag så skulle jag alltså hävda att invändningar kring negativa citeringar har begränsad bäring i debatten kring citeringsmåttets lämplighet.

I forskningskommunikationen i stort bör den negativa citeringar också ses som ett hälsotecken då kritisk granskning av tidigare resultat är en central del av en välfungerad akademi. Ett större problem är däremot den förvillande referensen, som återger den refererade studien på ett vinklat eller rentav felaktigt sätt. Hur detta sker har studerats i en nyligen publicerad artikel av Serge Horbach, Kare Aagaard och Jesper W. Schneider. De undersöker referenser till en studie kring forskningsetik av John med kollegor som kommit att bli både inflytelserik och välciterad. Analysen av referenserna visar att ett stort antal av citeringarna är överflödiga, och en hel del är direkt vilseledande. Dessutom verkar det som antalet referenser som bara ytligt engagerar sig med studiens resultat ökar över tid. Författarna tolkar detta som att referensen har blivit en så kallad “concept symbol”, eller med ett mer populärarkulturellt begrepp ett “mem”. I flera fall har resultaten förvanskats till den grad att processen kan liknas vid en viskningslek där de ursprungliga rönen är nästintill oigenkännliga. Flera orsaker anges till denna utveckling, där slarv och lathet (ofta läser inte författare studier som de citerar) är delförklaringar. Även retoriska överväganden, där referenser främst tjänar till att stärka den egna tesen, gör att studier med entydiga slutsatser tenderar att citeras oftare än de med mer ambivalenta konklusioner. Risken finns således att spektakulära studier där implikationerna av resultaten ofta överdrivs får större inflytande på forskningen jämfört med mer försiktiga och noggranna analyser.

Negativa och förvillande citeringar kan också drabba en enskild författare, men finns det någon möjlighet undvika felaktiga referenser, eller rentav begära att ovälkomna citeringar avlägsnas? Den frågan ställer sig Jaime Teixeira da Silva och Quan Hoang-Vuong i en reflekterande text i tidskriften Scientometrics. Idén om att forskare skulle kunna begära att referenser till deras texter ska tas bort framstår onekligen som orealistisk, och författarna tillstår också att någon sådan möjlighet knappast kommer att realiseras inom en snar framtid. Samtidigt anser jag att idén om rätten att inte bli (fel)citerad är intressant som tankeexperiment. I specifika fall kan det för en forskare vara direkt olustigt att bli citerad, exempelvis i en kontroversiell och ifrågasatt studie, eller om citeringen i fråga kommer från en tveksam tidskrift (en så kallad rovdjurstidskrift). I praktiken är det dock så att lika lite som Esaias Tegnér kan förhindra att högerextrema grupper använder hans verk, så kan en forskare undvika att bli refererad till på oriktiga grunder. Dock skulle jag säga att det finns flera möjligheter att förbättra chanserna att ens verk inte blir refererad på ett missvisande sätt:

Det mest uppenbara sätt på vilket en författare kan undgå att bli “felciterad” är att sträva efter en tydlig och korrekt framställning utan överdrifter eller svepande generaliseringar, eller för att parafrasera Tegnér: “Det dunkelt skrivna, är det dunkelt citerade”.
När väl något är publicerat så kan också en försigkommen forskare se till att diskutera sitt alster på konferenser, seminarier och sociala medier för att på så sätt styra hur resultat och slutsatser mottas.
Självciteringar är ifrågasatta och bör nyttjas med måtta, men de kan vara ett sätt förstärka de slutsatser som man själv ser som de mest centrala i ett forskningsbidrag. Att då själv referera till sitt verk kan bli ett sätt att påverka hur efterföljare forskare tolkar innehållet.
Vid uppenbart felaktiga citeringar – särskilt om de publicerats i inflytelserika forum – kan det vara värt att genom en uppföljande artikel, eller kommentar, påvisa det som anses förvillande eller rent fel. Min bedömning är dock att det sällan förekommer situationer där en sådan ansträngning kan sägas vara motiverad.

Avslutningsvis kan det vara värt att återvända till de mer övergripande konsekvenserna av tveksamma referenser som beskrevs i inledningen. För även om det må vara förargligt att bli felciterad så är det på en aggregerad nivå som undermåliga citeringspraktiker kan bli direkt skadliga för vetenskapen i stort. Om forskningskommunikationen blir en viskningslek så begränsas möjligheten till vetenskapliga framsteg, och allmänhetens förtroende för akademisk kunskap riskerar att eroderas. Det bör här påpekas att givandet av referenser är en del av ett större forskningspolitiskt sammanhang där citeringar är hårdvaluta både för forskare och tidskrifter. Samtidigt finns det, i mitt tycke, möjlighet för var och en – i sina respektive roller som lärare, handledare, författare, granskare och redaktörer – att verka för ansvarsfulla citeringspraktiker som ökar möjligheten till verklig dialog och interaktion med tidigare forskning.

Bild: Av anonymus – Punch (the Danish) page 73, Public Domain, https://commons.wikimedia.org/w/index.php?curid=14174609

En vetenskap i kris? Ambivalent skildring av svensk forskning i Hanne Kjöllers bok

Publicerad den december 18, 2020 av bjornhammarfelt

Svara

Ska vi tro de senaste årens inlägg i den forskningspolitiska debatten så befinner sig svensk akademi i en djupgående och flerdimensionell kris. Jag ska här inte bedöma sanningshalten i påståendet om existensen av en sådan kris, utan snarare konstatera att förklaringarna till problemen med svensk forskning ser relativt olika ut beroende på vem som formulerar kritiken. Tre huvudargument återfinns i debatten: det förstnämnda rör Sveriges position internationellt där vi i jämförelse med andra ledande forskningsnationer – läs Danmark – producerar färre högt citerade publikationer. Enligt denna beskrivning så har svensk forskning tappat i genomslagskraft, vi producerar för lite “toppforskning”. Ett annat argument är att forskningen inte är relevant nog, vilket är ett resonemang som ofta anförs från näringslivshåll, och då i andemeningen att forskningen inte i tillräckligt hög grad bidrar till innovation, utveckling och ekonomisk tillväxt. Varianter på samma tema förekommer också i inomvetenskapliga diskussioner där exempelvis Alvesson, Gabriel och Paulsen (2017) tes kring forskningens “meningslöshet” rönt en del uppmärksamhet . Den mest synliga argumentationslinjen på senare tid rör dock snarare vetenskapens politisering, och de som för fram dessa argument menar att andra mål för forskningspolitiken, som jämställdhet, inverkar menligt på akademins trovärdighet och kvalitet.

Oavsett hur vi förhåller oss till dessa “kriser” så finns det onekligen ett behov att sammanhållet diskutera och kritiskt granska både akademi och forskningspolitik, och gärna då med en bred ansats. Att ledarskribenten Hanne Kjöller nu vänder blicken mot den svenska forskningspolitiken är därför glädjande, inte minst då en kritisk journalistisk granskning av forskningen, en mångmiljardindustri som till stora delar är finansierad genom skattemedel, länge har saknats. En anledning är troligtvis att forskningspolitiken är ett komplext, och ibland motsägelsefullt fält som är svåröverblickbart. Dessutom har, som Kjöller också skriver, journalister ofta förhållit sig relativt hovsamt inför forskarsamhället. Hennes bidrag, “Kris i forskningsfrågan. Eller: vad fan får vi för pengarna” är således ett välkommet och uppfriskande inlägg i den forskningspolitiska debatten.

I sin skildring av forskningens problem så rör sig Kjöller från det lilla till det stora, från enskilda studier och de premisser som motiverar dem till strukturella och globala problem kring incitamentsstrukturer och publiceringsmönster Kjöllers styrka ligger uppenbart på det medicinska området där hennes fokus på medborgarnas och patienternas perspektiv är originellt och intresseväckande. Givetvis kan angreppsättet anklagas för att medvetet välja ut några enskilda projekt för att sedan låta dessa stå som exempel för en generell utveckling. Samtidigt är tillvägagångsättet effektfullt och det genomsyras av ett genuint intresse av att förstå forskningens hantverk och skildringen ger läsaren god inblick i processer och överväganden som sällan beskrivs utanför akademin.

Överlag gör Kjöller en stor poäng av den så kallade reproducerbarhetskrisen inom vetenskapen, och här är det framförallt John Ioannidis och hans omfattande granskningar av främst medicinsk forskning som hon stödjer sig på. Att betydande delar av exempelvis den psykologiska och medicinska forskningen är svår att reproducera är givetvis ett stort problem. Samtidigt är det väl drastiskt att hävda att den forskning som inte kan reproduceras är falsk, vilket Kjöller gör med stöd av Ioannidis. Utmaningarna med att reproducera forskning har studerats utförligt av vetenskapssociologer och de främsta orsakerna är sällan medvetet fusk. Problemet är snarare kopplat till bristfälliga beskrivningar av metod och svårigheter med att helt återskapa de förutsättningar som gällde vid den ursprungliga undersökningen. Det finns även de som menar att idén om en ‘reproducerbarhetskris‘ riskerar att leda till forskningspolitiska åtgärder som inte gagnar vetenskapen. Med detta sagt så står det klart att det finns starka incitament för forskare att överdriva sina resultat genom att exempelvis använda tveksamma statistiska metoder (så kallat p-hackande), eller genom att plocka ut den empiri som stöder en viss tes, och bortse från data som motsäger det önskvärda resultatet. Dessutom är få forskare motiverade att granska andras resultat då reproducerbarhetsstudier är svårpublicerade, och de tillmäts mindre prestige än originalstudier.

När Kjöller lyfter blicken och ger sig ut för att diskutera de stora forskningspolitiska frågorna så navigerar hon i ett mer komplext landskap, och inte sällan hamnar hon i motsägelsefulla positioner. Exempelvis så lyfts argumentet ovan: att Sverige halkar efter jämförbara länder gällande antalet publikationer och citeringar som ett tecken på en vetenskap i kris. Samtidigt skriver Kjöller, på annat håll, att det är just denna publikations- och citeringsjakt som gör att forskarna producerar ”meningslös” forskning. (För en vidare diskussion kring bibliometrisk utvärdering så rekommenderas Olof Hallonstens recension av Kjöllers bok). Satsningar mot inomvetenskaplig ”excellens” går inte alltid hand i hand med ökad relevans utanför akademin, och potentiellt sätt kan en satsning på excellent forskning – så att vi kan klå danskarna – göra att mer samhällstillvänd forskning nedprioriteras. En annan fråga där Kjöller famlar rör politikens inflytande över forskningen. I delar argumenterar hon för större statlig styrning, men stundtals anförs just politisk påverkan som ett problem (s. 134). Även kring genus tycker jag mig skönja en ambivalens, och till skillnad från de aspekter som diskuteras ovan så är denna motsägelse inget som Kjöller själv uppmärksammar. Kritiken mot genusvetenskap och jämställdhetsintegrering som nu sägs utgöra ett av de stora hoten mot svensk akademi får förvisso relativt liten uppmärksamhet i boken, men samtidigt är det uppenbart att Kjöller sållar sig till den skara som ser dessa påfund som ett hot. Intressant nog är just genusperspektivet, även om hon inte tematiserar detta, något hon själv lyfter i kapitlet kring den medicinska forskningen. Särskilt tydligt blir det i Kjöllers berättigade fråga varför inte fler studier gjorts kring förlossningsskador – trots att dessa drabbar många patienter, och då inte sällan med varaktiga och kännbara konsekvenser. Det uppenbara svaret, även för den som inte är genusvetenskapligt skolad, är att mer forskning inte genomförts just därför att patienterna i detta fall är kvinnor.

En orsak till att Kjöller ofta framstår som ambivalent i sin argumentation är att hon i stor utsträckning förlitar sig på en grupp av väletablerade debattörer inom den högre utbildningen och forskningen. Tyvärr är det inte alltid så att den kompetens och insikt som dessa har i forskningspolitiska spörsmål motsvarar deras höga svansföring. Exempelvis så får litteraturvetaren Peter Luthersson uttala sig om ”citeringskarteller” och hävda att detta handlar om enskilda forskare som ingått någon slags pakt om att referera till varandra. Men de ”karteller” som avslöjats, och givit namn till fenomenet, rör ett intrikat spel på tidskriftsnivå, och idén om pakter mellan enskilda forskare har inte belagts. På liknande vis framhålls Erik Ringmar, en statsvetare vars främsta tema är akademisk frihet, som expert på forskningspolitik. Ringmar hävdar exempelvis att några få forskare står för en stor andel av antalet citeringar till svenska publikationer (s. 110). Han har förvisso rätt i att en liten grupp forskare står som mottagare till en stor andel av alla citeringar, men denna skeva fördelning av berömmelse och erkännande återfinns i vetenskapen överlag, och kan inte tolkas som ett tecken på att svensk forskning är särskilt utsatt. Överlag förlitar sig Kjöller lite väl ofta på en senior kader av akademiska tyckare, och inte minst så ges hennes kollegor bland ledare- och kulturskribenter gott om utrymme. Svenska historiker, sociologer, statsvetare och andra forskare inom kunskapsproduktion, vetenskaplig kommunikation och forskningspolitik hade med fördel kunnat konsulteras i högre utsträckning, även om citat från dessa säkerligen varit mindre iögonfallande.

När Kjöller förlitar sig på en mer heterogen uppsättning av källor tenderar argumenten att bli tydligare och mer framåtblickande. Särskilt i frågan om öppen tillgång till forskning så är hennes position övertygande och underbyggd. Givetvis är det uppseendeväckande att allmänheten inte har tillgång till den forskning som det offentliga finansierat, och de stora förlagens vinstmarginaler är gravt provocerande. Måhända överdriver hon dock sin upptäckt något då rörelsen mot öppen tillgång (open access) har en lång historia, och omställningen till ett öppet system nu går allt snabbare. De initiativ som faktiskt tas i denna riktning – exempelvis genom det europeiska initiativet Plan S – kunde också ha behandlas lite utförligare. Nyligen utförda undersökningar visar också att upp emot 70% av den forskning som produceras vid ledande universitet nu är öppet tillgänglig. Det betyder inte att vägen till en öppen vetenskap är utan hinder, men betydande steg har tagits.

Om det i delar går att kritisera Kjöllers val av källor så bör hennes förhållningssätt till dessa i flera fall lovordas. Hon behandlar rätteligen inlägg från olika aktörer, exempelvis lärosätenas argument för mer basanslag och vetenskapsrådets ständiga plädering för fria projekt som kungsvägen mot bättre forskning, som partsinlagor. Förslaget om ett oberoende organ för analys av forskning och högre utbildning – likt de som finns i flera grannländer – ligger i linje med detta synsätt, och det är onekligen besynnerligt att ett sådant inte redan etablerats i Sverige. Även partipolitiskt lyckas Kjöller, i någon mån, upprätthålla en balans även om socialdemokraterna kritiseras mer frekvent jämfört med den borgerliga sidan. En intressant iakttagelse som hon gör i detta sammanhang är att själva omsvängningarna i politiken, snarare än innehållet i reformerna, kan ha inverkat skadligt på den svenska forskningen. Denna slutsats har också visst stöd i litteraturen då den danska forskningens framgångar förklarats just av långsiktiga spelregler snarare än reformiver.

Om ambitionen med “Kris i forskningsfrågan” är att – i likhet med makarna Myrdals berömda verk som parafraseras i titeln – skissera ett program för framtidens forskningspolitik så kan boken knappast ses som något annat än ett misslyckande. Snarare än att peka ut en riktning så framstår Kjöller som kluven inför flera av samtidens centrala forskningspolitiska problem, och denna rådvillhet är också något hon själv tematiserar. Nyckelfrågor förblir obesvarade: bör politikerna styra forskningen i högre grad? Ska en större andel av resurserna satsas på applicerbar forskning, eller bör fokus ligga på grundforskningen? Behövs ytterligare kontroll och utvärdering av forskningen, eller är det ständiga mätandet i själva verket en bidragande orsak till den “kris” som skisseras? Kjöller har inget facit, och kanske är det inte heller att förvänta då någon enighet kring dessa frågor knappast råder bland forskare och experter på området.

Dock, om vi för stunden bortser från de braskande rubrikerna, och det höga tonläget som stundtals präglar framställningen, så går det att göra en betydligt intressantare och välvilligare läsning av “Kris i forskningsfrågan”. En sådan läsning fokuserar inte på de delar där skarpa formuleringar och svepande generaliseringar görs, utan på det utforskande tillvägagångsätt som också präglar framställningen. Kjöller reflekterar över sin egen osäkerhet och den utmaning det innebär att försöka greppa forskningens komplexa system, och just denna öppenhet för motsägelser och svårigheter är för mig en av bokens stora tillgångar. Även om få entydiga svar ges, så lyckas Kjöller väl med att ringa in centrala och brådskande frågor kring forskningens framtid. Förhoppningsvis kan hennes insats resultera i att fler journalister vågar ge sig in i forskningspolitikens “snåriga djungel”. Kris eller ej, så finns här mycket att granska, kritisera och diskutera.

Denna text är en omarbetad och utökad version av en recension i Respons 2020, nr 6.

Skadlig mäthysteri, eller användbart styrmedel? Prestationsmått i svensk akademi

Publicerad den oktober 22, 2020 av bjornhammarfelt

Svara

“If you measure things, if you look at things, if you pay attention to things, more things will happen” (akademisk ledare citerad i Söderlind & Geschwind, 2019).

Som citatet ovan förmedlar så händer något när saker räknas och uppmärksammas. En uppdelning, och en prioritering, sker mellan det som ska, och kan, mätas, och det som inte enkelt kan omsättas i numeriska värden. Frågan kring vad som händer vid mätning och utvärdering står i centrum för Johan Söderlinds avhandling A metric culture in academia: The influence of performance measurement on the academic culture of Swedish universities (2020), som försvarades vid KTH den 25 september. I avhandlingen studeras hur prestationsmått fått en allt större betydelse i organisationen av akademiskt arbete, och särskilt fokus riktas mot hur dessa system påverkar verksamheten. I fyra delstudier, vilka också publicerats som fristående artiklar, så studeras mätningens utformning och konsekvenser på olika nivåer i det akademiska arbetet. Några av studierna har en mer komparativ ingång där exempelvis skillnader mellan svensk akademi och andra nordiska länder belyses, medan andra artiklar fördjupar sig i mer specifika fenomen. Det empiriska materialet är rikt, och det gäller även det teoretiska och metodologiska ramverket. Utgångspunkten för själva studien är idén om ett utvärderingssamhälle som delvis kan förklaras av en senmodern organisation av samhället där granskning blivit ett centralt element för hur verksamheter styrs. Överlag ger avhandlingen en god överblick över prestationsmått och deras användning inom akademin, och den utgör också en välskriven introduktion till bärande studier och teorier inom fältet.

I avhandlingen presenterar en rad resultat, och då det är svårt att sammanfatta dem alla så väljer jag här att presentera ett urval av de som jag finner mest tongivande och nydanande. Ett lyckat val i flera av artiklarna är att fokusera på hur ledare (”managers”) inom akademin använder prestationsmått i sitt arbete. Söderlind finner här att många chefer använder mått i styrningen samtidigt som de är medvetna om systemens begränsningar. Inte sällan intar de också en medlande position när de kontextualiserar, och modifierar specifika indikatorer (exempelvis citeringar eller publiceringspoäng) för att kunna använda dem i ett specifikt syfte. Dessutom verkar det vara så att akademiska chefer ofta litar på sin egen erfarenhet av exempelvis bibliometriska mått när de bedömer deras användbarhet. En övergripande slutsats är att prestationsmått – både gällande utbildning och forskning – betraktas som viktiga och användbara, men enligt de akademiska ledare som Söderlind intervjuat så spelar de sällan en avgörande roll när beslut ska fattas.

Söderlinds avhandling behandlar även prestationsmåttens användning på en mer övergripande nivå, och ett viktigt bidrag i avhandlingen är en jämförande studie av de nordiska länderna. I denna kontext framstår Sverige som avvikande då vårt system för att utvärdera forskning skiljer sig från de som återfinns Norge, Danmark och Finland. Dessa länder använder sig av ett likartat system – ofta kallat den “norska modellen” – där poäng ges till publikationer beroende på publikationskanal och vetenskaplig nivå. Sverige däremot har använt sig av en annan modell där en kombination av fältnormaliserade citeringsmått, publikationsvolym och extern finansiering utgjort grunden för att omfördela resurser.¹ Här finner Söderlind, helt riktigt, att det poängsystem som används i Danmark, Norge och Finland har större potential att förändra praktiker och publiceringsmönster. Detta då poängmodellen är lättförståelig och enkelt kan användas för resurstilldelning på lärosätes-, institutions-, eller individuell nivå. I sammanhanget kunde det dock varit intressant om Söderlind diskuterat det omfattande användandet av den ‘norska modellen’ på lokal nivå då det visat sig att nära hälften av alla svenska lärosäten har använt, eller använder sig av, liknande poängsystem. Således skulle man med fog kunna hävda att det ‘norska modellen’ haft stor betydelse för hur forskare i Sverige – och då särskilt de inom samhällsvetenskap och humaniora – resonerar kring publicering trots att den aldrig använts för att fördela medel mellan lärosäten.

En tredje aspekt som Söderlind framhåller, och som jag finner nydanande i sammanhanget, är bibliometrins pedagogiska potential. Dessa idéer lyfts i den fjärde artikeln där en specifik årlig utvärdering av forskning vid KTH studeras. Söderlind framhäver här särskilt betydelsen av en tät dialog mellan chefer, de utvärderade, och de som utvärderar (bibliometrikerna). En av bibliometrins främsta pedagogiska potential ligger således i dess förmåga att initiera samtal kring hur forskning bör värderas. Kanske skulle man till och med kunna hävda att bibliometrin utgör en effektiv provokation som frambringar diskussioner kring forskningskvalitet. Dock finns det en risk att sådana provokationer stannar vid en kritik av befintliga mått istället för att leda vidare till mer initierade resonemang. En spännande utveckling på Söderlinds studie vore således att närmare studera hur bibliometrins pedagogiska potential kan utvecklas så att dessa mått inte bara “mäter” kvalité utan också bidrar till att en ökad förståelse för hur vetenskaplig kvalitet kan studeras, och gynnas. En sådan utveckling skulle också ligga i linje med alternativa metoder för att utvärdera forskning, som till exempel idén om ‘evaluative inquiry, vilken syftar till ett mer öppet och utforskande tillvägagångsätt där kvalitativa och kvantitativa metoder kombineras.

Avhandlingen ger en god bild över hur prestationsmått används inom svensk akademi, men efter läsningen återstår ändå en del frågor: Hur ska vi till exempel förstå “mätandets kultur” mer generellt, och kan dess inflytande inom akademin jämföras med andra verksamheter som vård och skola? Har mätandet inom akademin uppstått i samband med ett större fokus på målstyrning inom offentlig verksamhet överlag, eller finns det en längre mer komplex inomvetenskaplig historia kring mätning och utvärdering? Här skulle jag vilja framhålla disciplinernas och de starka professionerna roll i utformandet av dessa system som särskilt intressanta, och potentiellt givande för vidare studier.

Sammanfattningsvis utgör Söderlinds avhandling en övertygande framställning kring akademisk utvärdering där kritik mot överdrivet mätande balanseras mot en förståelse för att indikatorer kan ha positiva effekter, exempelvis vad det gäller effektivitet vid beslutsfattande, transparens, och opartiskhet. Den övergripande slutsatsen i avhandlingen – att dessa mått, åtminstone gällande forskningen, hittills haft ganska modesta effekter – är i mitt tycke välgrundad. På samma sätt delar jag dock Söderlinds farhåga att effekterna av dessa system kan, om de inte hanteras på ett nyanserat och balanserat sätt, bli betydligt mer kännbara i framtiden.

¹I dagsläget är det oklart om Sverige kan sägas ha ett övergripande prestationsbaserat system på nationell nivå då den tidigvarande modellen inte har använts för att fördela resurser under de senaste åren.

Akademiska karriärer: Ska du bli excellent när du blir stor?

Publicerad den juni 25, 2020 av bjornhammarfelt

Svara

Unga forskare överöses med råd kring hur de bäst ska agera för en lyckad akademisk karriär. Val av ämne, hur man nätverkar och publicerar samt mentorer och förebilder är alla faktorer som sägs påverka möjligheterna till en fortsatt akademisk bana. Alltifrån topp-tio-tips till mer reflekterande diskussioner, som de i Efter festen: Om konsten att utvecklas från doktor till docent, finns att tillgå för den som är intresserad. Även inom bibliometrin så studeras akademiska karriärer och då ofta med ett fokus på att urskilja vad som kännetecknar framgångsrika forskare. Jonas Lindahl, som nyligen disputerade vid Umeå Universitet, verkar i denna tradition då han i sin avhandling In search for future excellence (2020) undersöker hur bibliometriska indikatorer kan användas för att förutsäga unga forskares framtida prestationer.

Lindahls empiriska delstudier rör naturvetenskaperna, teknik och medicin, och resultaten kan därför främst sägas vara relevanta för discipliner där den engelskspråkiga artikeln är den centrala publiceringskanalen. Likväl kan flera av hans slutsatser vara av mer generellt intresse, och de för mig centrala lärdomarna från avhandlingen kan sammanfattas i fem punkter:

1 Akademisk framgång, mätt i välciterade publikationer, kan i hög grad förutsägas. Lindahls studie fokuserar på att förutsäga “excellens” (definierat genom antalet publikationer som placerar sig bland de 10 % högst citerade inom fältet) och här har tidigt genomslag och publiceringskanal stor betydelse för framtida prestationer. Således, en ung forskare bör satsa på några riktigt betydande publikationer snarare än många, men mindre viktiga, alster. Kvalité trumfar kvantitet.

2 Det är enklare att förutsäga vem som kommer vara en toppforskare (här avses återigen topp-10 procent inom fältet) jämfört med att särskilja de som placera sig under detta skikt. Denna slutsats ligger i linje med studier av hur forskningsansökningar bedöms där granskare oftast finner det enklast att rangordna det absoluta topp- och bottensegmentet, medan de som hamnar i mitten är svårare att placera.

3 Högt citerade artiklar är det bästa sättet att förutse framtida framgång. Dock bör det betonas att just högt citerade publikationer utgör definitionen av framgång i studien, vilket gör att slutsatsen är mindre förvånande. Hade akademisk framgång istället mäts med andra parametrar: goda studentvärderingar, omnämnanden i dagspress eller social medier, utmärkelser, antalet handledda studenter eller doktorander så är det mycket möjligt att andra faktorer varit viktigare för korrekta förutsägelser om framtida bedrifter.

4 Män tenderar att oftare att sälla sig till gruppen ‘excellenta forskare’ (återigen mätt i citeringar) senare i karriären, och skillnader mellan könen syns redan under doktorandtiden. En viktig anledning tycks enligt Lindahl vara att män tenderar att samarbeta mer genom till exempel samförfattarskap med externa forskare, och de sampublicerar mer frekvent med sina handledare. Att manliga doktorander oftare står som författare tillsammans med handledare gällde oavsett om handledaren själv är kvinna eller man. Lindahl och hans medförfattare kopplar detta till den så kallade Matilda-effekten, enligt vilken kvinnors vetenskapliga bidrag systematiskt underskattas. En annan förklaring skulle kunna vara att möjligheten till nätverkande under doktorandtiden, och under åren efter disputation, påverkas av att kvinnor tenderar att ta större ansvar för barn och familj.

5 En intressant iakttagelse med anknytning till punkten ovan är att ett välutvecklat externt nätverk är viktigt under doktorandtiden samtidigt som det lokala nätverkandet (inom exempelvis ett lärosäte) får stor betydelse i den postdoktorala fasen. Att exempelvis ha etablerat ett nära samarbete med handledaren, eller med andra vid det egna lärosätet, kan vara direkt avgörande i den kritiska etableringsfasen efter disputation. Nu ska det sägas att det empiriska underlaget för denna delstudie rör ett svenskt universitet, och det kan vara så att denna effekt är starkare i ett system – likt det svenska – som präglas av låg rörlighet där många disputerade blir kvar vid det lärosäte där de doktorerade.

Den två sista punkter är enligt mitt tycke särskilt intressanta då de har direkta implikationer för doktorandutbildningens utformande och för hur stöd ges till forskare i den tidiga karriären. Att skillnader mellan män och kvinnor etableras redan under doktorandtiden är slående, och med utgångspunkt i slutsatserna ovan så kan konkreta förslag på åtgärder formuleras. En möjlighet vore att tydligare diskutera samförfattandets praktik med handledare under doktorandtiden, och hur detta ska ske på ett sätt som inte missgynnar kvinnor. Vidare bör betydelsen av externa och interna nätverk betonas, och här skulle man exempelvis kunna vara uppmärksam på aktiviteter som kan vara utestängande: seminarier och workshop under kvällar och helger, konferenser som kräver långa och tidskrävande resor och så vidare. Dessutom bör dessa skillnader tas i beaktande vid tjänstetillsättningar, och om det är så att män generellt har större möjlighet att etablera interna nätverk så kan tendensen – som synes särskilt stark i svensk akademi – att anställa “hemmasonen” vara särskilt problematisk. En ökad medvetenhet hos handledare och akademiska ledare om att dessa mönster finns kan i sig också bidra till förändrade synsätt och praktiker.

Själva huvudslutsatsen i avhandlingen, att framtida “excellens” kan förutses, har också den möjliga forskningspolitiska konsekvenser. Forskningsråd skulle kunna ta dessa rön i beaktande när anslag fördelas, och sakkunniga kan få direkt användning av dessa mått vid när kandidaten med ljusast framtidsprognos ska urskiljas. Till viss del görs det redan – exempelvis när citeringstal och publiceringskanaler beaktas vid tjänstetillsättningar – och i betydande utsträckning så korresponderar etablerade utvärderingspraktiker väl med Lindahls slutsatser. Dock, den definition av excellens som återspeglas i Lindahls avhandling är mycket snäv, och givetvis är det så att akademisk framgång är så mycket mer än antalet högt citerade publikationer. Likväl går det inte att bortse från att toppublikationer värderas högt i många situationer där akademisk framgång mäts, även om ett sådant ensidigt fokus kan få negativa konsekvenser både för vetenskapen i stort, och för den enskilda forskarens karriär och välmående.

Foto: ”Careers board game”, från https://flic.kr/p/8XGYurn

Karl Marxs h-index och den ryska revolutionen: En övning i kontrafaktisk bibliometri

Publicerad den juni 11, 2020 av bjornhammarfelt

Svara

Armed_soldiers_carry_a_banner_reading_'Communism',_Nikolskaya_street,_Moscow,_October_1917

I filmen Sliding doors från 1998 skildras två olika livsscenarier beroende på om huvudpersonen hinner med ett tåg eller ej.[1] I den första versionen upptäcker hon sin pojkväns otrohet och bryter upp från relationen, i den andra stannar hon kvar hos sin partner. Säkerligen har de flesta av oss spekulerat på liknande sätt kring händelser i vårt eget liv: Vad hade hänt om inte just detta skett? Hur hade livet då gestaltats? Funderingar av liknande slag är också vanliga inom skönlitteraturen, Robert Harris roman Faderland (1992) skildrar ett Europa där Tyskland gått segrande ur andra världskriget, och ett liknande scenario, men då mot en svensk fond, spelas upp i Tony Samuelssons Kafkapaviljongen (2009). Kittlande kontrafaktiska tankeexperiment är också en genre inom historieämnet där spekulationer kring alternativa utvecklingslinjer använts för att belysa avgörande händelser. Till delar kan kanske detta sätt att närma sig historien betraktas mer som en tankeövning, snarare än som seriös historieforskning. Men som historikern Kristian Gerner skriver i Vad hade hänt om… åtta kontrafaktiska historier (2015) så innebär framhållandet av alternativa händelseförlopp en möjlighet till resonemang kring, och förståelse för, de avgörande orsakerna till en specifik händelse. Kontrafaktiska resonemang, som ofta fokuserar på avgörande ögonblick eller beslut, tenderar också att aktualisera frågor om individens betydelse i historiens gång. I vilken mån styrs vår historia av enskilda beslut, händelser eller överväganden, och hur förhåller sig dessa till större strukturella förändringar?

Om vi omformulerar denna fråga till att gälla det bibliometriska studiet av vetenskapens genomslag så kan den ställas på följande sätt: Hur påverkas citerandet av ett vetenskapligt verk av den historiska utvecklingen? I en ny bibliometrisk studie, The mainstreaming of Marx: Measuring the effect of the Russian revolution on Karl Marx’s influence,[2] så prövas frågan hur en omvälvande händelse, den ryska revolutionen 1917, påverkat citerandet av Karl Marxs texter. Oavsett hur vi förhåller oss till Marxs texter på ett politiskt plan så är det otvetydigt så att han är en av de mest inflytelserika tänkarna under 1900-talet, och hans texter fortsätter att citeras i betydande omfattning. Om vi utgår från vad som registreras på Google Scholar och den profil som skapats åt honom där, så citeras Marx lite drygt 50 gånger per dag. Dessutom påpekar författarna till studien, Philip Magness och Michael Makovi, att Marxs texter, och då främst det Kommunistiska manifestet, är vanligt förekommande i kurslitteraturen vid universitetet och högskolor. Men är Marx inflytande resultatet av hans verks inneboende kvalité, eller är det snarare så att politiska händelser, och då främst den ryska revolutionen, som bidragit till hans popularitet? Med hjälp av kontrafaktiskt bibliometri säger sig författarna ge oss ett svar på denna fråga.

Screenshot 2020-06-02 at 09.31.00

Karl Marx, Google Scholar profil, 2020-06-09

Genom att konstruera och jämföra två Marx: den historiska och den kontrafaktiska (i studien kallade den syntetiska) så menar författarna att de kan mäta hur ryska revolutionen påverkat Marxs inflytande. Den kontrafaktiska Marx konstrueras genom ett jämförelsematerial av 98 andra inflytelseserika tänkare, däribland framstående samtida socialister som Proudhon, Bakunin och Kropotkin, politiska tänkare som Adam Smith, David Ricardo, John Stuart Mill och Friedrich List samt klassiska filosofer och skönlitterära författare. Genom statistiska analyser kan dessa sedan jämföras och en ‘syntetisk’ Marx kan konstrueras baserat på vad som skulle vara en ‘normal’ fördelning av citeringar i relation till tidigare data och i jämförelse med andra författares citeringsgrad över tid. Resultatet blir onekligen en slående kurva, där populäriteten för den historiska Karl Marx stiger betydligt efter 1917 samtidigt som den kontrafaktiska Marx bibehåller en konstant nivå.

SSRN-id3578840

Karl Marx vs kontrafaktiska Karl Marx, från Magness och Markovi 2020, s. 59.

Mönstret kvarstår även när jämförelsen görs enbart med andra socialistiska tänkare. Resultaten är talande, och det skulle vara svårt att argumentera emot att den ryska revolutionen har påverkar Marxs eftermäle, dock bör några förbehåll göras. Min främsta invändning rör inte den metodologiska ansatsen, utan den data som används. Studien bygger på Googles N-gram Viewer där man snabbt kan få en överblick över förekomsten av en term bland fulltexter i Google Books, en databas med över 40 miljoner poster. Sökningen har sedan skett på frasen “Karl Marx” i de indexerade verken. Således är det inte regelrätta citeringar, utan omnämnanden, som redovisas och studien kan därför inte sägas vara en regelrätt studie av referenser till Marx. Dessutom begränsar sig inte Google Books till att indexera vetenskaplig litteratur, utan här ingår ett flertal genrer, inklusive skönlitteratur, tidskrifter och dagstidningar. Således rör det sig mer om en allmän undersökning av den uppmärksamhet som Karl Marxs fått, snarare än direkta vetenskapliga citeringar. Samtidigt är det givetvis så att den ryska revolutionen, och Sovjetunionens grundande, starkt bidragit till Marxs inflytande. Att sådan påverkan skett, och att det avspeglas i antalet citeringar blir tydligt om vi konsulterar Eugene Garfields översikt över mest citerade personer i inom humaniora från 1978, Most cited authors in the Arts and Humanities. Att Marx är den mest citerade här är kanske inte förvånande, men att Lenin placerar sig på fjärde plats, före Platon, kan knappast förklaras av hans genuina bidrag till den humanistiska forskningen, utan utifrån hans historiska roll. Jag misstänker också att de ryska tidskrifter som vid tidpunkten fans indexerade Arts and Humanities Citation Index, bidrog väsentligt till Marxs och, särskilt Lenins, höga citeringstal.

En mer generell invändning mot studien är att den bygger på en idé om att vetenskapliga verk har en inneboende kvalité, som går att särskilja från dess relevans för omvärlden. En politiskt neutral vetenskapsvärld där forskares bidrag bedöms enbart utifrån sin inre koherens och logik existerar inte, och är nog vare sig önskvärd eller möjlig. Även sofistikerade teoretiska modeller behöver finna resonans i en social och politisk kontext för att bli uppmärksammade och inflytelserika. Dessa invändningar till trots så kan experiment av detta slag, och särskilt försök att använda bibliometri på historiska material, tjäna som tankeväckande uppslag för att undersöka interaktionen mellan dagspolitiska händelser, politiska ideologier och vetenskapliga teoribildningar. Den kontrafaktiska metoden kanske främst bör uppfattas som en lek, ett roligt tankeexperiment som roar och underhåller. Samtidigt finns det både pedagogiska och analytiska argument som motiverar kontrafaktiskt tänkande (och kontrafaktiskt bibliometri), och här vill jag särskilt framhålla förmågan ställa frågor på sin spets, och därmed rucka på invanda synsätt och föreställningar.

[1] Den amerikanske filmatiseringen bygger i sin tur på filmen ”Ödets nyck” från 1987 av Krzysztof Kieślowski.

[2]. Tack till Joakim Boström Elias som gjorde mig uppmärksam på denna studie.

Foto: ”Armed soldiers carry a banner reading ‘Communism’, Nikolskaya street, Moscow, October 1917”, Wikimedia, Upphovsman okänd.

Att överbrygga utvärderingsgapet: humanistisk forskning och bibliometriska mått

Publicerad den oktober 12, 2018 av bjornhammarfelt

Svara

Bournemouth_(9453245033)

(Detta är en utökad version av en text som först publicerats på humtanks blogg]

Utvärderingsgapet, en term lanserad av vetenskapssociologen Paul Wouters, illustrerar en ofta förekommande diskrepans mellan det vi värderar högt och det som man kan mäta värdet på. Ett tydligt exempel är försöken att konstruera indikatorer som på basis av publikationer och citeringar skall mäta forskningens kvalité. Även om det idag råder konsensus om att citeringar i bästa fall kan betraktas som en indikation på synlighet och genomslag i forskningssamhället så spelar fortfarande bibliometriska mått en avgörande roll i fördelningen av resurser och vid tillsättningar av akademiska tjänster. Istället för att bedöma utifrån de kriterier som vi anser bäst reflektera kvalité och relevans får tillgänglig data samt enkelheten i genomförande i hög grad styra hur forskning utvärderas.

Diskrepansen mellan bibliometriska mått, exempelvis citeringar, och det de är avsedda att mäta har uppmärksammats inom forskningspolitiken i stort, och vikten av att använda indikatorer på ett ansvarsfullt sätt har alltmer betonats. Ett exempel är det uppmärksammade Leiden Manifesto on Research Metrics, samt DORA, ett världsomspännande upprop mot användandet av ‘Journal Impact Factor’ som mått på kvalité. Kritiken mot bibliometrisk utvärdering har, med rätta, varit särskilt hård från ett samhällsvetenskapligt och humanistiskt håll. Mått som antalet citeringar eller ‘impact factors’ för tidskrifter fungerar generellt dåligt inom humaniora, där publicerings- och citeringsmönster gör att mycket liten del av alla publikationer räknas i sådana system. Modeller likt den norska listan, där även monografier och bokkapitel ger poäng utifrån fastställda kvalitetsnivåer (1 eller 2) har därför blivit populära. Just den norska modellen används också vid flera lärosäten runt om i landet. Vi vet dock mindre om hur enskilda forskare inom humaniora förhåller sig till den uppsjö av bibliometriska indikatorer som finns att tillgå. Till mer etablerade mått som citeringar och tidskriftsrankningar sållar sig nu en grupp av alternativa mått (så kallade altmetrics) samt digitala plattformar som ResearchGate och Academia.edu vilka alla säger sig kunna ge indikationer på forskningens genomslag och synlighet. En första överblick gällande hur forskare inom humaniora i Sverige använder sig av dessa mått och tjänster ges i en nyligen publicerad undersökning, Conflicting measures and values: How humanities scholars in Australia and Sweden use and react to bibliometric indicators, där Gaby Haddow och jag analyserar svaren från 420 humanistiska forskare (varav 263 från Sverige). Generellt fann vi att australiensiska humanister (62 %) i mycket högre grad än svenska (14 %) använde sig av bibliometriska mått och indikatorer. Förklaringen till den stora skillnaden står förmodligen att finna i skillnader gällande språk (engelskspråkiga publikationer är ofta enklare att utvärdera med bibliometri), skillnader i hur forskning och högre utbildning är organiserade i de två länderna, samt i att Australien till skillnad från Sverige har en lång historia av bibliometrisk utvärdering bakom sig. Jämförelsevis fann vi ganska små skillnader mellan olika forskningsområden, men inte helt oväntat visade det sig att discipliner där forskarna i större utsträckning publicerar sig i tidskrifter, exempelvis filosofi, var mer benägna att använda bibliometriska mått.

Noterbart var den uppsjö av metriker och rankingar som forskarna begagnade sig av. Mer etablerade indikatorer såsom citeringar, journal impact factor och h-index (ett individbaserat och starkt kritiserat mått) nämndes givetvis av våra respondenter, men mer alternativa sätt att mäta genomslag, såsom nedladdningar och visningar, förekom också (fig 1).

Fig-2

Figur 1. Humanisters användning av indikatorer, datakällor och tidskriftsrankningar

Överlag kan det konstateras att forskarna omges av ett evalueringslandskap där en rik flora av mått finns att tillgå, och det är inte helt ovanligt att dessa jämförs med varandra. Exempelvis kan, såsom i detta australiensiska fall, en mer gynnsam och passande mätmetod spelas ut mot institutionella krav:

Only reason [för att använda citeringar] is to ward off any criticism that journal articles are not in A* or A ranked journals. High citations of articles in decent B-level journals should count for something, even though department policy is to discourage and/or ignore them (Australiensisk forskare, historia och arkeologi).

Flera av våra respondenter riktade skarp kritik mot användningen av bibliometriska mått – i ett av de mer hårda omdömena beskrivs bibliometri som ett: “unholy marriage of market capitalism and Stakhanovist micro-management”. Informanten fortsätter med att likna forskare i detta system vid hönor i bur, som tvingas att producera ett visst antal artiklar varje år. Mindre drastiskt kritik förekom också, och ett flertal forskare, inte minst inom fält som historia och litteraturvetenskap, kopplar bibliometriska indikatorer till mer generella förskjutningar i publiceringspraktiker där den engelskspråkiga tidskriftsartikeln får ökad betydelse. Huruvida dessa förändringar direkt går att härleda till bibliometrisk utvärdering framstår dock som oklart av rådande forskningsläge att döma. Snarare bör vi nog se det som att dessa mått accentuerar en redan pågående utveckling i denna riktning. I sammanhanget får vi heller inte glömma att en del forskare snarare välkomnar de förändringar som bibliometrin sägs påskynda:

Shift to publishing in English and emphasis on publishing in peer review journals (thank god). Hopefully this decreases the degree of laziness among researchers in my field” (svensk postdok, historia och arkeologi).

De bibliometriska måtten blir därmed en del av en diskursiv kamp inom enskilda forskningsfält där traditionella sätt att publicera sig (på svenska, i bokkapitel eller monografier) ställs mot nya praktiker där publicering i en engelskspråkiga tidskrifter framhålls. I delar kan denna fråga ses som en konflikt mellan generationer, och inte minst äldre forskare hänfaller ofta åt nostalgiska betraktelser av en förfluten tid utan bibliometri och publiceringsstrategier:

Fortunately, I am old and consequently I do not have to bother. Had I been young, I would have left academia rather than adjust to the moronic ‘publishing strategies’ forced upon us (svensk, lektor, arkeologi- och historia).

Delvis finns det poänger i detta resonemang; unga forskare är i en mer utsatt position då de ofta har osäkra anställningsförhållanden och de är därför tvungna att tänka mer ‘strategiskt’. Vidare finns det en risk att mer långsiktiga och riskabla projekt överges till förmån för forskning som snabbt kan ge utdelning i form av publikationer och citeringar. Samtidigt döljer utsagor likt dessa att det även förr fanns ‘publiceringstrategier’ där det exempelvis kunde vara av stor betydelse för den yngre forskaren att hålla sig väl med etablerade professorer som i rollen av redaktörer för antologier och bokserier kunde (och fortfarande kan) gynna en begynnande karriär. Vidare är det viktigt att framhålla att dessa två strategier knappast står i direkt konflikt med varandra. Snarare utmärks framgångsrika humanistiska forskare ofta av en förmåga att rikta sig till relevanta publiker både nationellt och internationellt, och inte sällan publicerar de sig i en rad forum och på olika språk.

Även om en del av kritiken mot bibliometrin bör ses som förklädda argument i inomdisciplinära strider så är utvärderandet av humaniora med hjälp av kvantitativa mått problematiskt på flera plan. En given invändning, ofta anförd i litteraturen, är det faktum att humanistisk forskning till stor del inte finns representerad i de bibliometriska databaserna, och detsamma gäller även flera av de alternativa mått som på senare år lanserats. På ett djupare plan är det även så att bibliometriska indikatorer rimmar illa med etablerade kvalitetsbegrepp och värderingspraktiker inom humaniora. En av våra australiensiska respondenter uttrycker det som ett problem i att översätta värden mellan olika sfärer: “… translating our sense of value to people who want quantitative data”. En grundläggande konflikt mellan radikalt olika sätt att tänka kring vetenskapligt värde skönjs här där då de snäva idéer om produktivitet, effektivitet och konkurrens som bibliometrin bygger på svårligen kan appliceras i en humanistisk kontext. Gapet mellan vad bibliometrin mäter och värderar, och vad som vanligen värderas som kvalité inom humanistisk forskning är således stor. Bland svenska humanister har ännu inte heller bibliometriska mått slagit igenom på allvar. Vår studie visar dock att situationen ser annorlunda ut i Australien, där forskarna trots protester och berättigad kritik, använder dessa mått i stor utsträckning.

Hur utvärderingsgapet ska överbryggas i framtiden framstår som oklart: Ska svenska humanister anpassa sig till de metoder som finns tillgängliga (en utveckling som kan skönjas internationellt), eller kan vi behålla och utveckla utvärderingspraktiker som i högre grad inkorporerar en bredare förståelse av kvalité? Min slutsats är att humanisterna inte bör nöja sig med att ihärdigt kritisera rådande kvalitetsmått, utan istället aktivt delta i utformandet av utvärderingssystem som överbryggar det gap som skisserats ovan. En sådan utveckling skulle inte bara gynna humaniora utan även vetenskapssamhället i stort.

Bild: Rafaela Ely (Bournemouth) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

“Förlåt jag blott citerar”: Åtta punkter för ansvarsfullt refererande

Publicerad den april 24, 2018 av bjornhammarfelt

Svara

“At the personal level of the scientific writer and the editor and publisher of journals, it tells that one might well be as careful about references as we are about titles, authorships, and proper presentation of data.” (de Solla Price, Little Science, big science…and beyond, 1986 s. 178,

Referensen spelar en nyckelfunktion i att göra en text vetenskaplig, och det är därför som stor vikt läggs vid att lära studenter att referera korrekt. Onekligen är de formella reglerna och själva refererandets teknik oumbärlig kunskap för den som skall ägna sig åt vetenskapens hantverk, och även erfarna forskare måste beakta de varierade krav som tidskrifter och bokutgivare ställer på utformandet av referenser och noter. Att lära sig referera korrekt är dock bara en del av att behärska refererandets ädla konst. Vi behöver också lära oss att citera ansvarsfullt.

I en tid när referenser – som genom sitt indexerande i citeringsdatabaser som Google Scholar eller Web of Science – blir till citeringar, vilka i sin tur omvandlas till hårdvaluta för institutioner, forskare och tidskrifter så blir refererandet en än mer komplex verksamhet. För vårt val av texter att hänvisa till blir då del i en evaluerande praktik där citeringar blir till kapital på en marknad där forskare konkurrerar om resurser av olika slag. Det gör också att vi som författare behöver ta ett större ansvar för hur vi refererar genom att aktivt reflektera över de val vi gör. En som tagit sig an denna uppgift är Bart Penders som mot bakgrund av senare års diskussioner och kritik av fenomen som till exempel självciteringar och citeringskarteller formulerat tio regler för ett mer ansvarfullt refererande. Med avstamp i dessa regler återger jag nedan åtta punkter där flera av Penders regler ingår, men där jag också tagit mig friheten att sammanfoga några av hans argument och lagt till några egna. Till skillnad från Pender så tar jag min utgångspunkt i ett samhällsvetenskapligt och humanistisk perspektiv på refererandets praktik snarare än ett naturvetenskapligt och medicinskt.

Inkludera relevanta referenser

Denna regel, som återkommer i de flesta guider och handböcker kring hur referenser ska ges, innebär att du ska citera det som är relevant för din forskning, och speciellt inte låta påskina att argument som du funnit i litteraturen är dina egna. Knepiga fall är de där ett påstående är så väletablerat att det kan sägas vara självklart, och därför kanske inte kräver en referens. Denna process, där centrala verk så småningom blir så självklara att det inte längre citeras, benämndes av Robert K. Merton som ”obliteration by incorporation”. Är det till exempel nödvändigt att varje gång som ‘diskursanalys’ nämns referera till Michel Foucalt? Här är det genre, kontext och läsarnas eventuella förförståelse som avgör.

Läs de publikationer som du refererar till

Det kan tyckas självklart att de källor som refereras också bör ha lästs, men så är inte alltid fallet. Att påskina att en utsaga bygger på en egen läsning av en text utan att ha läst den kan i vissa fall ses som en form av plagiarism. Frågan är dock vad ‘läst’ innebär i detta sammanhang? Behöver vi ha tagit oss igenom en hela bok från pärm till pärm för att kunna referera till den? Räcker det att ha scannat ‘abstract’ och ‘findings’ i den artikel som vi stödjer oss på? Svaren på dessa frågor beror återigen på kontext och syfte med referensen.

Fokusera på det centrala innehållet när du refererar

När du refererar bör du fokusera på det innehåll som du stödjer dig på, och finns det flera viktiga argument så kanske texten bör citeras flera gånger. Det räcker alltså inte med att bara nämna texten i förbigående om dess innehåll är centralt för ditt eget bidrag. Ett utstuderat och ökänt exempel på en tveksam praktik är den så kallade ‘trojanska referensen’ där en för texten viktig referens ges i förbigående och utan att dess centrala betydelse för framställningen framgår. På så sätt kan författaren hävda att verket har citerats utan att på det sättet avslöja att den egna forskningen kanske inte var riktigt så nydanande som man vill påskina.

Var transparent, men inte nödvändigtvis neutral och tråkig

Det finns inget tråkigare en att läsa förment neutrala forskningsöversikter där läsaren ges liten eller ingen ledning i hur den litteratur som passerar revy ska bedömas. Givetvis handlar det här inte om att forskaren måste ge värdeomdömen om varje enskilt bidrag, men det bör framgå hur de studier som refereras relaterar till varandra och eventuella kontrasterande perspektiv bör framhållas. Jag tror personligen att många författare heller ser att det de skrivit blir kritiserat än lite lamt omnämnt tillsammans med en hoper andra referenser. Genom att författaren engagerar sig i den litteratur som refereras så blir också den egna position tydlig, och transparent, för läsaren.

Var specifik

Om det är något jag själv allt mer arbetar med i mitt eget skrivande så är det att dra ner på det som Bruno Latour kallar ’stacking’ av referenser (Science in Action, 1987 s. 33). Alltså fenomenet att samla en stor mängd referenser inom en och samma klammer för att stärka ett argument, eller ringa in ett forskningsproblem eller område. Argumentet för ett sådant tillvägagångsätt är att det både är effektivt och övertygande, och denna praktik blir nu allt vanligare även inom samhällsvetenskapen och humaniora. Problemet är dock att det drar ner läsvänligheten – det är få som uppskattar sidor som till hälften består av referenser – och ibland gör det texten rentav helt ogenomträngbar. Bättre då att vara specifik och istället ange mer i detalj vad en specifik källa handlar om. Exempelvis finner jag det bättre att ange att en text handlar om ‘självcitering’ och en annan om ‘citeringskarteller’ istället för att bunta ihop dem med ett gäng andra som behandlar ‘citeringspraktiker’ mer generellt. En annan strategi för att undvika ansamlingar av referenser är att prioritera i litteraturen: behöver verkligen den där tredje artiklen på liknande tema av samma författare anges?

Gödsla inte med referenser

Överlag refererar forskare till alltfler publikationer i sina alster, och detta beror givetvis på ett allt större utbud av möjliga källor, samt förmodligen också på ett ökat användande av referenshanteringsprogram som gör det snabbt och enkelt att referera. Vidare är kollegor ofta pigga på att föreslå nya referenser när texter läses på ett seminarium eller när de referentgranskas, men mycket sällan är det någon som säger att det nog vore bra att hålla igen lite. Givetvis ska inte relevanta källor ignoreras, men det finns en tendens att belägga varje enskilt påstående med en, eller gärna flera referenser. Värdet av varje enskild referens reduceras då, och förutom att läsbarheten minskar så riskerar den flitigt citerande att framstå som osäker och osjälvständig. Generellt tenderar forskare att bli mer sparsamma i sitt refererande senare i den akademiska karriären när den egna auktoriteten är större. Ibland går detta självklart till överdrift – det förekommer att framstående professorer inte längre anser sig behöva stöd av andra överhuvudtaget och helt sonika utelämnar referenser helt – och i likhet med andra punkter är antalet referenser avhängigt av kontext, genre och publik.

Citerad dig själv och dina kollegor, men bara när det är nödvändigt

Alla forskare refererar till sig själva, och det är i sig inget fel. Ofta utgör en ny publikation en fortsättning på en redan påbörjad forskningslinje och det ter sig då självklart att hänvisa till sig själv. Men ett krav för att en referens till eget arbete ska inkluderas är att den verkligen är relevant, och detta krav bör vara skarpare jämfört med andra referenser. I valet mellan att citera sig själv och att citera en annan forskare så bör det senare föredras. Vi tenderar även att citera de vi känner snarare än någon okänd i litteraturen. Så titta gärna igenom din referenslista: är en betydande del av referenser till dig själv, dina närmaste kollegor eller dina landsmän så finns det anledning att reflektera över urvalet. Kan det verkligen vara så att en så stor del av all framstående forskning inom det område som du studerar bedrivs av just den grupp som du dricker eftermiddagskaffe med? Är du man som kan det också vara lämpligt kontrollera så att du inte råkar referera extra mycket till andra män. Studier visar nämligen att män refererar oproportionerligt mycket till andra män, samtidigt som kvinnor inte uppvisar samma tendenser till att gynna det egna könet när referenser väljs.

Uppdatera och variera dig

Generellt brukar forskare över tid utveckla en ‘citeringsidentitet’, och denna brukar ofta vara relativt stabil över tid. Detta innebär att när en forskare väl börjat citera ett visst verk så gör man det ofta gärna igen; det har blivit en del av den personliga ’citeringsrepertoaren’. Självklart är det enkelt att återkomma till verk som redan läst och är välkända, men risken finns att de gamla hjulspåren blir nötta och att annan relevant forskning förbises på grund av vana och bekvämlighet. Troligen förstärks också denna tendens av referenshanteringsprogram som Endnote eller Zotero där redan använda referenser ligger klara och redo att användas på nytt. Därför är det viktigt att hålla sig uppdaterad med litteraturen, både genom att följa vad som publiceras och genom att besöka konferenser och liknande, och medvetet se till att inte återupprepa samma referenser gång på gång.

Avslutningsvis vill jag påpeka att dessa punkter måste anpassas till de specifika citeringspraktiker som råder i det fält där en forskare verkar, och inte sällan är det så att vi behöver foga oss efter de konventioner som gäller för en specifik tidskrift eller bokserie. Ändå tror jag att doktorander, och även mer seniora forskare, kan vara betjänta av att reflektera över inte bara refererandets praktik utan också dess etik. Ett mer eftertänksamt refererande kan med stor säkerhet bidra till både mer läsbara texter och till högre kvalité på forskningen, samtidigt som det gör oss mer ansvarsfulla i hur vi förhåller oss till det som andra redan har författat.

”Förlåt jag blott citerar” är ett citat från den svenska lyriken Johan Henric Kellgrens dikt ”Man äger ej snille för det man är galen” (1787). Det är också titeln på en bok om citerandets konst författad av idéhistorikern Svante Nordin (2001)

Bild: By futureatlas.com (originally posted to Flickr as ”Citation needed”) [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)%5D, via Wikimedia Commons

Självplagiat: forskningsfusk eller accepterad praktik?

Publicerad den september 27, 2017 av bjornhammarfelt

Svara

copy paste

2013 anklagades den nederländske ekonomiprofessorn Peter Nijkamp för omfattande fusk i form av självplagiat. Nijkamp var vid denna tid en mycket välkänd forskare, med en sammanlagd produktion av över 2300 artiklar (han producerade cirka 1, 5 artikel per vecka), och under sin karriär så hade han tilldelats en rad prestigefyllda priser och uppdrag. Kort sagt, Nijkamp var en akademisk superstjärna.

Utan att gå in på detaljer så friades Nijkamp från anklagelserna kring forskningsfusk, samtidigt som det visade sig att han ägnat sig åt omfattande återbruk av tidigare texter utan att ange källa. En utredare kallade detta för ‘systematisk copy-pasting’ med målet att producera ett stort antal artiklar, och tidskriften Review of Economic Analysis kom att dra tillbaka två av Nijkamps publikationer (för vidare dokumentation kring ärendet se Retraction Watch). Flera kommittéer kom att granska ärendet, och då några fann att forskningsfusk var klarlagt menade andra att medvetet fusk inte kunde bevisas. Fallet kom därför att leda till en debatt kring vad som är legitimt återbruk, och vad som bättre beskrivs som tvivelaktiga praktiker eller till och med fusk.

Med utgångspunkt i Nijkampfallet diskuterar och studerar Horbach och Halffman självplagiat som fenomen. De analyserar inte bara den debatt som följde efter utredningarna kring Nijkamp utan de undersöker också omfattningen av självplagiat i olika discipliner. I studien utgår de från en ganska konservativ definition av ‘textåtervinning’ där till exempel ett visst återbruk av formuleringar kring metod inte räknas som självplagiat. De valde sedan ut ett antal artiklar författade av både högproduktiva och mer lågproduktiva forskare från fyra discipliner, psykologi, historia, nationalekonomi och biokemi, och studerade förekomsten av återanvänd text i dessa.

Deras studie visar att 6 % av alla artiklar visar tecken på ‘problematisk textåtervinning’ men skillnaderna mellan disciplinerna är stor. Inom historia fann man tecken på självplagiat i bara 1 av 48 studerade texter samtidigt som 14 % (36 av 258) av alla texter inom ekonomifältet innehöll återanvänd text. Bland några ekonomer visade det sig att mer än 40% av artiklarna innehöll självplagiat.

text recycling

(Horbach & Halffman 2017, s. 7)

Vad förklarar då den betydligt högre andelen av självplagiat inom ekonomifältet? En förklaring som författarna anför är att det kan bero på hur texter skrivs, där en mer formalistisk stil ger större möjlighet till att återanvända text. Detta kan delvis vara en orsak till att historieforskarna i sådan liten utsträckning använder sig av denna strategi. För dem är det ofta inte ens möjligt att självplagiera och samtidigt producera texter som accepteras av kollegorna. Det som talar emot denna hypotes är dock att biokemisterna – som i än högre grad än nationalekonomerna skriver i en formalistisk tradition – inte alls uppvisade samma grad av självplagiat. På samma sätt kan inte heller antalet medförfattare anses vara en förklaring.

Snarare är det nog så att dessa skillnader bör förstås utifrån disciplinspecifika normer kring hur god vetenskap produceras. Ett tecken på detta är att kollegor som försvarade Nijkamp menade att självplagiat inte alls var fusk, utan en etablerad praktik inom disciplinen. Att mycket produktiva och ledande forskare i större utsträckning än andra återanvänder text framstår också som ett tecken på att detta tillvägagångssätt är relativt accepterat.

Bör vi då betrakta självplagiat som forskningsfusk? Själv skulle jag hävda att det nog kan vara rimligt att återanvända text, men då bör detta tydligt anges så att eventuella granskare och läsare blir medvetna om originalkällan. Exempelvis kan ju delar av en text omarbetas för en annan läsargrupp – i en blogg eller i en mer populärvetenskaplig text – och då ser jag inget problem med att återanvända formuleringar om originalkällan anges. Att i referentgranskade artiklar använda tidigare text i form av hela stycken utan att ange detta framstår dock för mig som mer problematiskt, men vi rör oss här i en gråzon där disciplinspecifika sätt att uttrycka sig och bedriva forskning bör tas i beaktande.

Om vi bortser från frågan kring fusk så blir de stora disciplinära skillnaderna i självplagiat som Horbach och Halffman påvisar särskilt bekymmersamma mot bakgrunden av hur forskning idag utvärderas. Att återanvända text är onekligen en genväg till ett stort antal publikationer, och dessa kommer sedan att räknas in när forskningen utvärderas. De individer, institutioner och discipliner som i högre grad ägnar sig åt självplagiering kan då tillskansa sig både status och resurser på bekostnad av de som lite mer sällan använder sig att kommandot Ctrl+ C/Ctrl +V.

Etiska riktlinjer kring självplagiering har nu införts i Nederländerna och flera tidskrifter har också tagit ställning i frågan. Ett alternativ till att lita på forskarnas och redaktörernas etiska kompass vore dock att tidskrifter istället använder sig av plagiatkontroll. Inom svensk högre utbildning används Urkund flitigt – studenter tillåts vare sig kopiera andra eller sig själva – och tekniskt kan jag knappast tänka mig att det vore särskilt svårt att införa ett sådant system även för vetenskapliga publikationer. Onekligen skulle ett sådan lösning drastiskt minska förekomsten av plagiat och självplagiat.

	En vetenskap i kris?… om Det danska undret och den sven…
	Att överbrygga utvär… om Att skilja mellan en elefant o…
	bjornhammarfelt om Att skilja mellan en elefant o…
	eriknylander om Att skilja mellan en elefant o…
	Att skilja mellan en… om Akademiskt författarskap i för…