Forskning pyntes på for å bli publisert

Et grunnprinsipp i vitenskap er at kunnskapen som genereres skal kunne etterprøves av andre. Dette innebærer at man under samme betingelser får samme resultat når man gjentar en studie. Medisin, økonomi, markedsføring og andre samfunnsvitenskapelige fagfelt har problemer med etterprøvbarhet.

I psykologi er det stadig flere som hevder at fagfeltet står overfor en etter- prøvbarhetskrise. Blant dem er Hans Fredrik Sunde som jobber for Folkehelseinstituttet (FHI).

Psykologien i krise

– Etterprøvbarhetskrisen handler om at vi har forsøkt å gjøre tidligere forskning på nytt, og i omtrent halvparten av forsøkene har man ikke klart å få de samme resultatene. Ofte viser effekter seg å ikke eksistere, eller å være halvparten så store som i de originale studiene, forteller Sunde.

Sunde har tatt mastergrad i psykologi ved NTNU og er nå doktorgradsstipendiat ved FHI og har holdt forelesninger om statistikk og etterprøvbarhet ved Institutt for psykologi. Han forteller at man ofte snakker om to store problemer knyttet til etterprøvbarhet.

–Det ene er at man ikke får de samme resultatene, og det andre er at det er vanskelig å reprodusere studier i det hele tatt. Dette skyldes at metodedelene i psykologisk forskning ofte er for dårlig beskrevet, mener Sunde.

Sunde forklarer at datamateriale i psykologisk forskning er beskyttet og ikke tilgjengelig for andre å ettergå. Å reanalysere data er nyttig for å sjekke om forskerne har gjort ting riktig.

At opprinnelige beskrivelser av metoder mangler, er også et problem som gjør det vanskelig å etterprøve forskernes funn. Om man ønsker å reprodusere en studie, må man derfor ta kontakt direkte med forfatterne.

– Det går ikke alltid bra, særlig ikke hvis man er kritisk, sier Sunde.

–Å massere data

Stian Lydersen er professor i medisinsk statistikk ved Institutt for psykisk helse ved NTNU. Han skrev om etterprøvbarhet for desemberutgaven av tidsskriftet til Den norske legeforening.

Lydersen mener det er viktig å finne ut hvor stor andel av publiserte medisinske studier som er feil. Han trekker fram en artikkel av professor i medisin John P. A. Ioannidis ved Stanford University. I denne artikkelen hevder Ioannidis at de fleste publiserte forskningsresultater er feil.

LES OGSÅ: Nå er Reitan-samarbeidet synlig på Samfundstaket

Ioannidis, som i dag er sitert over 6000 ganger, la et grunnlag for etterprøvbarhetsdebatten.

– Ioannidis sine påstander baserer seg riktignok ikke på faktiske data, men på en rekke antagelser om hva som bidrar til falske positive funn, forteller Lydersen.

Én slik antagelse er skjevhet i forskningsdesign, som kan innebære manipulasjon av analysene og selektiv rapportering av funn. Sunde kaller dette «å massere data», og viser til at målet gjerne er å hente ut signifikante resultater. Problemet er at disse resul- tatene ikke speiler de faktiske resul- tatene man egentlig fikk.

At resultatene er falske, gir et falskt grunnlag for beslutninger som benytter seg av forskning som faktagrunnlag. Førsteamanuensis Joar Øveraas Halvorsen er psykologspesialist på klinisk voksenpsykologi ved Institutt for psykologi ved NTNU. Halvorsen forteller at det får konsekvenser å bruke forskning som har feil resultat.

– Innen klinisk psykologi kan man for eksempel tilby pasienten behandling som vi ikke vet om fungerer fordi resultatene ikke kan gjenskapes, sier Halvorsen.

Grunnforskning til grunn

Sunde mener lav etterprøvbarhet er et problem fordi grunntanken bak å forske på noe er å finne ut hvordan verden fungerer.

– Forskning er et forsøk på å beskrive verden. Hvis beskrivelsene våre ikke er korrekte, er de i praksis ikke verdt noen ting. Da er ikke forskningen til å stole på, forklarer Sunde.

Han hevder videre at problemer med etterprøvbarhet gir god grunn til å sette store spørsmålstegn ved den originale forskningen.

– Hvis forskningen var gjort ordentlig, hadde vi forventet å finne det samme resultatet hver gang. Spørsmålet er da hvorfor man ikke gjør det, forteller han videre.

Halvorsen er enig. Han forteller at forskningen ligger til grunn for videre undersøkelser og forskningsprosjekt.

– Det har vært en ukultur i akademia med mer fokus på det innovative enn etterprøvbarhet. Noe som er paradoksalt med tanke på hva forskning skal være, forteller Halvorsen.

Signifikant signifikans

De vi har snakket med, mener tidsskriftenes krav til forskning i seg selv bidrar til problemet med etterprøvbarhet.

– Det er et problem at studier med nullfunn er vanskelig å få publisert. Dette kan for eksempel være at de ikke finner en sammenheng mellom denne eksponeringen og sykdom eller effekten av en medisin, forklarer Lydersen.

Lydersen forteller at konsekvensen av dette blir at tidsskriftene bidrar til en publikasjonsskjevhet ved å kun bry seg om positive funn. Sunde legger til at det er mye lettere å få publisert studier som viser et resultat i tråd med hypotesen enn studier som ikke gjør det.

Halvorsen bekrefter også denne trenden. Han mener at forskning må være banebrytende og innovativ før de større tidsskriftene ønsker å publisere forskningsresultatene, og at det er mer fokus på innovasjon enn kvalitet.

– Jeg har hørt fra andre forskere at det er vanskelig å publisere etterprøvde studier i ulike tidsskrift, sier Halvorsen.

Sunde sier seg enig i at dette er en viktig problemstilling. Han mener at kravene som stilles til publisering, kan gjøre at forskere tilnærmet oppmuntres til å pynte på dataene for å oppnå signifikante resultat.

– Når dette kombineres med at metodedelen er litt vag og statistikkforståelsen så som så, oppstår det problemer, sier Sunde.

Har koll på protokoll

Halvorsen forteller at man innen kliniske studier ofte har det som kalles en forhåndsregistrert forskningsprotokoll. Da har man før datainnsamlingen redegjort for hvordan man skal samle inn dataene, og deretter hvordan analysen skal foregå.

– Først publiserer man protokollen i et tidsskrift, deretter leverer man resultatet i samme tidsskrift. Da er man forpliktet til å levere et resultat med metoden man har beskrevet, forteller Halvorsen.

Han peker på at det også gjør at forskere kan gjennomgå metoden og sjekke om resultatene samsvarer med analysen.

LES OGSÅ: Pandemien kan ikke løses med økt ulikhet

Stadig statistisk fokus

Lav etterprøvbarhet er ikke noe som forsvinner med mindre forskere er be- visste på problemet. Sunde forklarer at de han snakker med, er det.

– Jeg opplever at mange tar dette seriøst. Særlig opplever jeg at unge tar det mer på alvor, sier Sunde.

At unge tar det mer seriøst, kan stemme godt, ettersom Halvorsen forteller at etterprøvbarhet for alvor kom i søkelyset for mindre enn ti år siden.

Halvorsen forteller at det er vanskelig å finne ut om en publisert studie benytter seg av falske data eller feil metode. Han sier at man kan finne ut av det ved å lese vitenskapelige studier med et kritisk blikk.

– Man skal ikke ta resultatene for gitt. Er det oppdaget uregelmessigheter, ber man forskerne etter dataene for å sjekke, sier Halvorsen.

Sunde mener at det er viktig med mer kritisk lesing av artikler, da det er mange røde flagg som kan indikere fusk. I tillegg mener han at også metode og statistikk må spille en større rolle i studentenes emner.

– Det må være mye mer av statistikk og metode. Lite undervisning i disse er med på å opprettholde problemet, avslutter Sunde.

Mer fokus på metode

Stian Solem er professor i klinisk psykologi og var studieprogramleder på profesjonsstudiet i psykologi ved NTNU fram til nyttår. Han påpeker at metode og statistikk har blitt en større del av pensum til psykologistudenter, selv om de ikke nødvendigvis ønsker det.

– Studentene plasserer statistikk og metode lavest på listen over det de ønsker mer av. Likevel ble det mer fokus på metode med de nye nasjonale retningslinjene for psykologut- danningen. (RETHOS, journ. anm.)

Solem mener at det er fokus på reproduksjon og etterprøvbarhet gjennom hele psykologutdanningen.

På spørsmål om etterprøvbarhets- krisen er offisielt med i læreplanen til studiet, svarer han at det er fokus på forskningsmetoder i alle fag.

– Retningslinjene stiller krav om læringsutbytte spesifikt på statistikk. På studiet har vi spesifikke metodefag, men metode skal likevel gjennomsyre alle fag.