Zombijevske teorije v svetu znanosti

Poljudnoznanstvene revije so polne novic o najnovejših spoznanjih iz sveta znanosti. Te novice so praktično izključno pozitivne – zdi se, kot da znanstveniki vedno nekaj odkrijejo. Se spomnite, kdaj ste nazadnje brali o raziskavi, ki ni prišla do pomembnih ugotovitev?

V poljudnem tisku je to običajno – zakaj bi poročali o neki raziskavi, ki ni odkrila nič novega? V primerjavi s poljudnim naj bi bil znanstveni tisk objektiven; objavili naj bi vse raziskave, ne glede na njihov izid. Znanost namreč lahko napreduje le tako, da teorije utemeljuje na preverjanju hipotez, ki jih na podlagi empiričnih podatkov lahko kadarkoli ovržemo. Če jih ovržemo, je smiselno razmišljati o alternativni, boljši teoriji, ki je spet podvržena empiričnemu preverjanju.

Prevladujoči način preverjanja hipotez v znanosti je statistično preizkušanje z izračunom tako imenovanih p-vrednosti. Ta nam pove, kolikšna je verjetnost, da je do takih ali bolj skrajnih rezultatov prišlo v primeru, da povezanosti med opazovanima fenomenoma sploh ni. Če je ta verjetnost manjša od neke arbitrarne meje, navadno 0,05, govorimo o statistično pomembnih rezultatih oziroma o tem, da smo dokazali povezavo med fenomenoma.

Zanimiv pojav

Raziskovalci so že pred več desetletji opazili zanimiv fenomen – med objavljenimi znanstvenimi članki prevladujejo takšni s statistično pomembnimi rezultati. Ta pojav je še posebno prisoten v družboslovju. V psiholoških in psihiatričnih raziskavah je verjetnost poročanja o pozitivnih rezultatih kar petkrat večja kot v astronomiji. Poleg tega je med psihološkimi in psihiatričnimi raziskavami kar 90 odstotkov takšnih, ki poročajo o pozitivnih rezultatih.

Sliši se predobro, da bi bilo res. Zato je skupina 270 raziskovalcev v projektu Reproducibility (Estimating the reproducibility of psychological science; Science, 28. avgusta 2015) preverila, v kolikšni meri lahko ponovijo rezultate psiholoških študij, katerih rezultati so že bili objavljeni. Študije, ki so jih nameravali ponoviti, so izbrali med objavljenimi v treh eminentnih psiholoških revijah leta 2008. Skupaj jim je uspelo ponoviti sto študij, med katerimi jih je 97 v izvirni objavi predstavilo statistično pomembne rezultate.

Toda ponovitve so dale drastično drugačno sliko. Ob drugem merjenju je bilo zgolj 36 odstotkov rezultatov statistično pomembnih, skupaj 47 odstotkov pa jih je bilo blizu prvotnim (ta odstotka sta izračunana na podlagi študij, ki so bile izvirno statistično pomembne). Pri tem so se bolje odrezale študije iz kognitivne psihologije, izmed katerih so do pozitivnih rezultatov tudi drugič prišli pri polovici, med socialnopsihološkimi študijami pa je bilo takih le četrtina.

Po tej odmevni študiji, so se v javnosti zvrstili številni komentarji o tem, da psihologija sploh ni znanost, da jo bo tako ali tako kmalu nadomestila bolj objektivna nevroznanost in da je znanost nasploh le kup prirejenih statistik. V zagovor psihologiji je nujno treba omeniti, da so težave s ponovljivostjo tudi v drugih znanostih. Poleg tega je prav ta študija dokaz, da se znanstveniki trudijo ponavljati raziskave in tako zmanjševati negotovosti, ki se v znanosti nenhno pojavljajo.

Študija o ponovljivosti psiholoških raziskav je bila odmevna, ker je pokazala, da vsemu, kar preberemo, ni dobro slepo verjeti. A verjetno so še večja težava raziskave, ki jih niti ne moremo prebrati. Številne raziskave namreč sploh niso objavljene.

Pristransko objavljanje

Ta pojav se imenuje pristransko objavljanje (» publication bias« ). Nanaša se na to, da imajo študije, ki poročajo o pozitivnih rezultatih, večjo verjetnost, da bodo objavljene. Ta problem se lahko pojavi na ravni raziskovalcev, ki člankov sploh ne spišejo ali se ne trudijo z objavo, lahko pa se pojavi na ravni urednikov ali recenzentov revij, ki takšne članke zavrnejo. Prisotno je v vseh znanostih, a večji problem pomeni za družboslovne, ki so manj eksaktne. Posledično je mogoča večja manipulacija s podatki, poleg tega pa je raziskave zaradi večje variabilnosti opazovanih pojavov težje dosledno ponoviti.

Enega izmed najbolj neposrednih dokazov za pristransko objavljanje je dala študija, ki so jo lani objavili raziskovalci z univerze Stanford. Na znani populaciji 221 raziskav iz družboslovja so ugotavljali, koliko rezultatov je bilo spisanih in objavljenih. Rezultati so bili presenetljivi. Med študijami, v katerih je bila večina hipotez potrjenih, je bilo 61 odstotkov takih, ki so bile objavljene, nadaljnjih 34 pa je bilo spisanih, vendar ne objavljenih. Ostanejo torej štiri odstotki, ki niso bili niti spisani. Po drugi strani je bilo med študijami, ki so večino hipotez zavrnile, objavljenih samo 21 odstotkov, 14 odstotkov je bilo spisanih, a ne objavljenih, kar 65 odstotkov pa ni bilo nikoli niti spisanih!

Pristransko objavljanje torej obstaja, največja pristranost pa se pojavlja pri avtorjih samih, ki se jim z negativnimi rezultati niti ne ljubi ukvarjati. Stanfordski raziskovalci so v anonimni anketi povprašali avtorje po razlogih, zakaj rezultatov niso objavili. Med 26 avtorji študij, ki svojih rezultatov niso spisali, jih je 15 odgovorilo, da so raziskavo opustili, ker so se bali, da jih bodo zaradi nezanimivih rezultatov zavrnili uredniki ali recenzenti znanstvenih revij. Devet jih je domnevno izgubilo zanimanje zaradi drugih prioritet, dva avtorja pa negativnim rezultatom nista pripisovala posebne vrednosti, saj sta študiji ponovila na manjših priložnostnih vzorcih in tako naposled le potrdila svoji hipotezi.

Študije v predalih

Opisani pojav, pri katerem nezanimive študije obležijo v predalu, je psiholog Robert Rosenthal v odmevnem članku leta 1979 poimenoval težava predalnikov (file drawer problem). Očitno je, da ta averzija do ničelnih rezultatov ni trivialnost, ampak resna težava psihologije in ostalih znanosti. Če proces preizkušanja hipotez teče zgolj v eno smer, to pomeni, da po univerzumu znanosti krožijo številne zombijevske teorije, ki kratko malo ne morejo umreti, ker se nikomur ne da ukvarjati z rezultati, ki jih zavračajo. Raziskovalci, ki nazadnje le odprejo predal in poskušajo objaviti študijo z negativnimi rezultati, lahko naletijo na recenzente, ki negativne rezultate pripišejo metodološkim pomanjkljivostim raziskave namesto dejanskemu pomanjkanju učinka. Znanost morda ne trpi le zaradi naivne želje po statistično pomembnih ugotovitvah, ampak tudi zaradi ideologije akademikov, ki trmasto zagovarjajo teorije, v katere so vložili čas, trud in denar ter nočejo ali ne morejo dopustiti, da bi bile zavržene.

A znanstvena skupnost težavo pozna, zato so se pojavili številni predlogi za njeno rešitev. Med možnimi rešitvami so vnaprejšnja registracija študij, kar se predvsem v medicini počasi uveljavlja. Prav tako bi bilo koristno, če bi bili študije in podatki prosto dostopni, kar bi omogočalo večjo ponovljivost.

Druga smer reševanja težav se nanaša na spremembe v uporabi same statistične metodologije. Na začetku smo omenili p-vrednosti, ki se uporabljajo za vrednotenje resničnosti hipoteze. Pristop znanstvenikov je pri tem pogosto dihotomen – hipotezo potrdimo ali zavrnemo; vmesne poti ni. Majhne variacije v p-vrednosti lahko odločilno vplivajo na to, kako bomo interpretirali rezultate.

Toda narava je zvezna in okoli takega preizkušanja hipotez se je celo med statistiki nabralo toliko žolčnih razprav, da so se na začetku letošnjega leta v reviji Basic and Applied Social Psychology nazadnje odločili za ukinitev preizkušanja hipotez s p-vrednostmi. Namesto teh se spodbuja uporaba raznih drugih kazalnikov, na primer mer velikosti učinka, ki nam povedo, kako močno sta opazovana pojava povezana. Mere velikosti učinka poleg tega, da niso podvržene dvojiškemu gledanju na naravo, omogočajo tudi lažjo primerjavo med različnimi študijami.

Objave negativnih rezultatov

Najpomembnejši korak pa je preklop v glavah raziskovalcev, ki se ne smejo bati negativnih rezultatov, saj so ti enako pomembni kot pozitivni. Za ta namen je bila leta 2002 ustanovljena revija Journal of Articles in Support of the Null Hypothesis, v kateri objavljajo samo članke iz psihologije, ki podpirajo ničelno hipotezo. Revija v strokovni javnosti ni posebno priljubljena, saj povprečno objavi le štiri članke na leto. Bolj uspešna je spletna stran PsychFileDrawer.org, ki je namenjena objavljanju kratkih opisov ponovljenih študij ne glede na rezultate in je v treh letih zbrala opise nekaj deset študij. Navsezadnje pa že projekti, v katerih so ali bodo poskušali ponoviti študije z drugih področij znanosti, dokazujejo, da se znanstveniki težave zavedajo in jo aktivno rešujejo.

Znanstveni napredek ni vedno premočrtna pot k resnici, temveč je poln vzponov in padcev, med katerimi pogosto naletimo na slepe ulice. Popolna ponovljivost namreč ne bi bila znamenje inovativne znanosti, ampak bi kvečjemu pomenila, da nismo poskusili ničesar novega. Skratka, odsotnost napak ni znamenje uspeha – ravno iz napak se namreč lahko največ naučimo.