söndag, oktober 12, 2008

Kan vi lita på vetenskapen?

De som är skeptiska till vetenskap brukar säga att - ena dagen säger de en sak och nästa dag något helt annat. Det går aldrig att veta vad som är sant.


Om det inte vore för denna skepsis så skulle de nu också kunnat hänvisa till en vetenskaplig studie som delvis ger dem rätt. Det visar sig nämligen att av 49 flitigt citerade studier som alla publicerats i ansedda tidskrifter, så hade bara efter några år närmare en tredjedel av dem visat sig vara felaktiga eller överdrivna.

Forskarnas hypotes är att det existerar en motsvarighet till the winners curse: en teori inom ekonomi som säger att den som vinner, låt säga, en auktion tenderar att ha betalt ett överpris.

The Economist sammanfattar:
The same thing may be happening in scientific publishing, according to a new analysis. With so many scientific papers chasing so few pages in the most prestigious journals, the winners could be the ones most likely to oversell themselves—to trumpet dramatic or important results that later turn out to be false. This would produce a distorted picture of scientific knowledge, with less dramatic (but more accurate) results either relegated to obscure journals or left unpublished.
Detta hänger ihop med problemet som är känt som publication bias eller file-drawer effect, dvs. att icke önskvärda resultat inte ens skickas in för publicering. För att åtgärda denna problematik så har ett dussin prestigefulla medicinska tidskrifter infört en praxis att endast förregistrerade studier accepteras för publicering.

Problemen verkar alltså handla mer om det sätt forskning publiceras (eller ej) än den vetenskapliga metoden i sig. Att forskningsresultat kan visa sig vara felaktiga och senare korrigeras är snarare ett tecken på den vetenskapliga metodens styrka. Att människor kan bli förvirrade av motsägande vetenskapliga rön tror jag delvis kan förklaras med sensationslysten och slarvig vetenskapsjournalistik.

3 kommentarer:

medvetenskap sa...

Ioannidis (forskaren bakom studien du länkar till) har ju skrivit ett flertal artiklar i ämnet de senaste åren.

Tyvärr missbrukas hans artiklar av de som av olika anledningar vill racka ner på vetenskapen.

Stor del av problemet ligger i det med impact factor och "sensationalism". Extrema fynd som tenderar publiceras i högimpact-tidsskrifter är oftare resultatet av extrem tur/otur(beroende på perspektiv kanske) jmf med forskning publicerar i tidsskrifter med lägre impact.

Registreringskravet för forskning, det gäller väl bara clinical trials vad jag vet. Då problemet med filedrawer effect kanske är störst i industrifinansierade studier, och har värst implikationer där (drabbar människors hälsa). Har någon tidsskrift infört krav på förregistrering generellt?

Marcus sa...

medvetenskap: "Har någon tidsskrift infört krav på förregistrering generellt?"

Ja som jag tolkar det som står i länken i inlägget ovan, så har The Journal of the American Medical Association, the Annals of Internal Medicine, the Lancet, the New England Journal of Medicine och ett flertal andra gjort det.

medvetenskap sa...

Det gäller som jag trodde bara läkemedelsstudier sponsrade av läkemedelsföretag, ser jag efter att ha följt din länk.

Det gäller alltså inte alla typer av studier (det skulle bli väldigt problematiskt och inte speciellt givande med ett allmänt registreringstvång).

Men ett bra initiativ att kontrollen kring lkm-industrins forskning blir högre.