Harha (tutkimus)

Wikipediasta
Siirry navigaatioon Siirry hakuun
Todellinen arvo, systemaattinen virhe ja satunnaisvirhe.

Harha tai systemaattinen virhe tarkoittaa tieteellisessä tutkimuksessa ja epidemiologiassa sellaista tutkimuksessa ja sen tuloksessa olevaa vääristymää, joka säilyy, vaikka havaintojen määrä tutkimuksessa olisi ääretön tai tutkimusta toistettaisiin äärettömän monta kertaa. Havaintojen tai toistojen määrään tai otoskokoon liittyvää virhettä kutsutaan satunnaisvirheeksi tai kohinaksi ja se muodostaa toisen pääosan tutkimuksen kokonaisvirheestä. Harha riippuu täysin tutkimuksen tai analyysin tavoitteesta, joka tulee näin määritellä täsmällisesti harhan arvioimiseksi.

Harhan arviointiin tutkimuksissa on kehitetty erilaisia työkaluja. Terveystieteissä havainnoivan toimenpidetutkimuksen harhan arviointiin voidaan käyttää esimerkiksi ROBINS-I -työkalua, joka suosittelee arvioimaan harhaa seuraavalla tavalla:[1]

  1. Arviointiin tulisi osallistua sekä menetelmä- että aiheasiantuntijoita. Myös tutkittavien toimenpiteiden käyttäjiä on hyödyllistä haastatella oleellisten muuttujien ja näiden syy-seuraussuhteiden tunnistamiseksi. Oleellisia muuttujia ovat erityisesti sekoittavat tekijät, rinnakkaistoimenpiteet ja toimenpiteen ennustetekijät mutta myös vaikutuksen välittäjät ja muovaajat ja yhteiset vasteet.
  2. Tutkimuskysymys määritellään kohdekokeena (engl. target trial), eli kuvailemalla samankaltainen satunnaistettu vertailukoe (kuten kliininen koe), joka vastaisi haluttuun kysymykseen pienellä harhalla.
  3. Vasteet ja vaikutussuureet määritellään täsmällisesti.
  4. Sekoittuneisuuden riski ja mahdollinen suunta arvioidaan selvittämällä...
    1. Ovatko yhteydet yhteisiin syihin voimakkaita ja kuinka hyvin mahdolliset sekoittavat tekijät ovat ylipäätään tiedossa?
    2. Ovatko negatiiviset kontrollit yhteydessä oleellisiin muuttujiin?
    3. Mikä on aikariippuvaisen sekoittuneisuuden riski: Verrataanko analyysissä seuranta-aikoja ja onko toimenpidevaihdosten yhteys vasteeseen voimakas?
    4. Onko oleelliset muuttujat mitattu tarkasti ja otettu asianmukaisesti huomioon analyysissä? Soveltuuko menetelmä aikariippuvaisen sekoittuneisuuden hallintaan (g-menetelmä)?
    5. Onko vakiointijoukossa (engl. adjustment set) mukana vaikutuksen välittäjiä tai yhteisiä vasteita?
  5. Valintaharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
    1. Vaikuttavatko toimenpiteen aloituksen jälkeiset tekijät siihen, miten havaintoyksikköjä tai havaintoja valitaan tutkimukseen tai analyysiin? Ovatko näiden tekijöiden yhteydet toimenpiteeseen ja vasteeseen voimakkaita?
    2. Alkaako toimenpide ja seuranta samaan aikaan?
    3. Onko oleelliset muuttujat mitattu tarkasti ja otettu asianmukaisesti huomioon analyysissä? Onko menetelmä soveltuva valintaharhan korjaamiseen?
  6. Toimenpiteen mittaus- ja myöntyvyysharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
    1. Onko toimenpideryhmät määritelty täsmällisesti?
    2. Onko määrittelyyn tarvittava tieto mitattu ennen toimenpiteen alkua?
    3. Voivatko vaste tai tämän ennustetekijät vaikuttaa toimenpideryhmän määritykseen?
    4. Ovatko poikkeamat suunnitellusta toimenpiteestä suurempia kuin tavallisissa käytännön olosuhteissa (terveydenhuollossa)?
    5. Jakautuvatko poikkeamat ja rinnakkaistoimenpiteet tasaisesti toimenpideryhmien kesken?
    6. Kuinka paljon poikkeamat ja rinnakkaistoimenpiteet vaikuttavat vasteeseen?
    7. Toteutuuko toimenpide suunnitellusti suurella osalla väestöstä?
    8. Onko oleelliset muuttujat mitattu tarkasti ja otettu asianmukaisesti huomioon analyysissä? Soveltuuko menetelmä kyseisen harhan korjaamiseen (esim. IP-painotus, instrumenttimuuttuja-analyysi)?
  7. Puuttuvan tiedon aiheuttaman harhan riski ja mahdollinen suunta arvioidaan selvittämällä...
    1. Kuinka suuri osuus havainnoista puuttuu kaikissa oleellisissa muuttujissa?
    2. Jätettiinkö havaintoja ulos analyysistä puuttuvan tiedon vuoksi?
    3. Ovatko puuttuvien havaintojen osuudet ja syyt samankaltaisia toimenpideryhmittäin?
    4. Ovatko puuttuvien havaintojen herkkyysanalyysien tulokset samankaltaisia?
    5. Ovatko puuttuvan tiedon korjaamiseen käytettyjen menetelmien oletukset uskottavia?
  8. Vasteen mittausharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
    1. Kuinka paljon tieto toimenpiteestä voi vaikuttaa vasteen mittaamiseen?
    2. Olivatko vasteen mittaajat tietoisia toimenpiteen arvosta?
    3. Mitattiinko vaste samalla tavalla eri toimenpideryhmissä?
    4. Ovatko mittausvirheet yhteydessä toimenpiteeseen tai sekoittaviin tekijöihin?
  9. Raportointiharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
    1. Onko tulos voitu raportoida usean samankaltaisen vasten joukosta?
    2. Onko tulos voitu raportoida usean erilaisen analyysin joukosta?
    3. Onko tulos voitu raportoida usean erilaisen osajoukkoanalyysin joukosta?
  10. Onko kokonaisharhan suunta ennustettavissa?
  11. Tutkimuksen kokonaisharha luokitellaan matalaksi, kohtalaiseksi, vakavaksi tai kriittiseksi (tai tuntemattomaksi). Matalan riskin tutkimus vastaa laadukasta satunnaistettua vertailukoetta. Laadukkaassa havainnoivassa tutkimuksessa on yleensä vähintään kohtalainen harhan riski, usein tätä korkeampia.

Käänteisvaikutus

[muokkaa | muokkaa wikitekstiä]

Käänteisvaikutus tarkoittaa sitä, että oletetulla vasteella onkin todellisuudessa vaikutus syyhyn ja tämä muuttaa muuttujien välistä yhteyttä. On esimerkiksi havaittu, että eräiden inhalaatiolääkkeiden käyttö on yhteydessä korkeampaan keuhkosyövän riskiin. Vaikutuksen arvioimiseksi on kuitenkin huomioitava, että keuhkosyöpä voi kehittyä hitaasti ja aiheuttaa hengitysoireita jonkin aikaa ennen taudin diagnoosia. Nämä ensioireet voivat taas lisätä inhalaatiolääkkeiden käyttöä ennen taudin varsinaista toteamista, eli kyseessä voi olla käänteisvaikutuksen aiheuttama ns. protopaattinen harha.[2]

Sekoittuneisuus

[muokkaa | muokkaa wikitekstiä]

Jos tutkittaviin muuttujiin vaikuttaa muita yleensä tutkimuksesta riippumattomia muuttujia (ns. sekoittavia tekijöitä), tutkittavien muuttujien välisen yhteyden arviointiin syntyy harhaa. Tämän mekanismin aiheuttamaa harhaa kutsutaan yleensä sekoittuneisuudeksi (engl. confounding).[3] Esimerkiksi alkoholin ja keuhkosyövän kausaalisen yhteyden arviointiin voi aiheuttaa harhaa se, että alkoholin käyttö on yhteydessä tupakointiin ja muihin mahdollisiin keuhkosyövän syihin. Kronologista harhaa (engl. chronologial bias) voi syntyä, jos tutkimuksen menetelmissä tai väestössä tapahtuu muutoksia ajan kuluessa. Esimerkiksi tautien diagnostiikka ja määrittely muuttuu ajan saatossa ja aiheuttaa harhan tautien esiintyvyyden arviointiin.[4]

Suunnittelu- ja toimeenpanoharhat

[muokkaa | muokkaa wikitekstiä]

Tutkimuskysymykset

[muokkaa | muokkaa wikitekstiä]
  • Muodikkuusharha (engl. hot stuff bias): Muodikkaat tutkimusaiheet vetävät puoleensa enemmän heikompitasoista ja huomiota keräävää tutkimusta, jolloin virheen riski tutkimusaihetta koskevassa kirjallisuudessa kasvaa. Esimerkiksi statiinien ja selektiivisten serotoniinin takaisinoton estäjien vaikutukset ja kliininen käyttö ovat olleet pitkään kiistanalaisia aiheita.[5]
  • Uutuusharha (engl. novelty bias): Toimenpiteillä on taipumusta näyttää todellisuutta paremmilta, kun ne ovat uusia. Esimerkiksi arviot joidenkin lääkkeiden tehosta ovat olleet korkeampia vanhemmissa kuin uudemmissa kokeissa, eli arvioitu teho on laskenut ajan kuluessa.[6]
  • Korvikemuuttujaharha (engl. substitution game bias): Joskus haitan välttämiseksi tai resurssien säästämiseksi muuttujan suoran tutkimisen sijasta pyritään tutkimaan tämän korvike- eli surrogaattimuuttujia. Jos korvikemuuttuja ei kuitenkaan edusta tai ennusta riittävän tarkasti alkuperäistä muuttujaa, tutkimukseen syntyy harhaa. Esimerkiksi kliinisessä kokeessa hoito saattaa vaikuttaa suotuisasti valittuihin korvikemuuttujiin (kuten veriarvoihin), mutta ei vaikutakaan suotuisasti itse tautitilaan (kuten uuden sydäninfarktin riskiin).[7]
  • Yhdistetyn verrokkitestin harha (engl. incorporation bias): Jos tutkittava diagnostinen testi sisällytetään tutkittavan tilan varmistavaan verrokkitestiin, tutkittavan testin tarkkuuden arviointiin syntyy harhaa. Esimerkiksi tutkittaessa PSA:n kykyä ennustaa eturauhassyöpää arviointiin syntyy harhaa, mikäli PSA-taso on myös osa eturauhassyövän tapausmääritelmää.[8]

Sidonnaisuudet

[muokkaa | muokkaa wikitekstiä]

Tutkimuksen menetelmillä ja tuloksilla on taipumusta tukea sen rahoittajan etuja, eli tuloksissa voi olla rahoitusharhaa (engl. industry sponsorship bias). Esimerkiksi lääkeyritysten rahoittamat statiinivertailut ovat tehneet harvoin rahoittajan lääkkeen vastaisen päätelmän.[9]

Otoskoon määrittely

[muokkaa | muokkaa wikitekstiä]

Otoskoko tai itsenäisten havaintojen määrä vaikuttaa paitsi suoraan tutkimuksen satunnaisvirheen määrään niin myös tutkimuksen harhaan eri mekanismien kautta. Tätä kutsutaan otoskokoharhaksi (engl. wrong sample size bias). Esimerkiksi pienet kliiniset kokeet ovat yliarvioineet hoitojen vaikutuksia suurempiin kokeisiin verrattuna, pieniä tutkimuksia jätetään enemmän julkaisematta ja hyvin suurten tutkimusten satunnaisvirheettömiä tuloksia saatetaan tulkita herkemmin virheellisesti.[10]

Valintaharha johtuu mistä tahansa vääristymästä tutkimusväestön valikoitumisessa tutkimuksen lähdeväestöstä tai systemaattisesta erosta tutkimusväestön ja tutkimuksen kohdeväestön välillä[11]. Valintaharha näkyy aineistossa täysin puuttuvina havaintoyksiköinä tai puuttuvina havaintoina joissakin aikapisteissä.

Valintaharhassa on yleisemmin ottaen kyse ns. törmäytinharhasta. Törmäytinharha (engl. collider bias) syntyy, jos kahden muuttujan välisen yhteyden arvioinnin rajoittaa tai osittaa näiden muuttujien yhteisen vaikutuksen tai tällaiseen yhteydessä olevan muuttujan mukaan (engl. conditioning on common effect). Esimerkiksi kaksi tautia voi lisätä todennäköisyyttä joutua sairaalaan, jolloin näiden tautien väliseen yhteyteen syntyy harhaa, jos yhteyttä tutkitaan pelkästään sairaalan potilaista muodostuvassa tutkimusväestössä.[12]

Valintaharhaa syntyy yleensä, kun tutkimusväestö valitaan jostakin rajoitetusta paikasta, kuten sairaalan potilaista, vaikka tutkimuskysymys koskisi laajempaa väestöä ja ihmistä yleensä. Tällaisia valintaharhoja ovat muun muassa seuraavat:

  • Hoitoonottoharha (engl. admission rate bias): Jos tutkittavat muuttujat ovat yhteydessä henkilön todennäköisyyteen päätyä potilaaksi terveydenhuoltoon yleensä, osallistujien valinta yksikön potilasväestöstä aiheuttaa harhan muuttujien välisen yhteyden arviointiin. Esimerkiksi kohonnut verenpaine ja migreeni lisäävät molemmat hoidon tarvetta, mikä aiheuttaa näiden muuttujien väliseen yhteyteen valintaharhan potilasväestössä.[13]
  • Keskihakuisharha (engl. centripetal bias): Jos tietynlaisia potilaita hakeutuu enemmän tiettyyn terveydenhuollon yksikköön, tämän yksikön potilaista tuotettuihin tutkimustuloksiin voi syntyä harhaa. Esimerkiksi kalliimpaan terveydenhuollon yksikköön hakeutuu rikkaampia ja terveempiä potilaita tai harvinaissairauksien hoito keskittyy tiettyihin yksiköihin.[14]
  • Lähetesuodatusharha (engl. referral filter bias): Eri tasoisten terveydenhuollon yksiköiden, kuten terveyskeskusten, keskussairaaloiden ja yliopistosairaaloiden, potilasväestöt ovat erilaisia, koska vain epätavallisemmat ja sairaammat potilaat lähetetään vaativampiin tutkimuksiin ja hoitoihin toiselle tasolle erikoistuneempiin yksiköihin. Näin eri yksiköiden potilasväestöt eivät välttämättä edusta muiden yksiköiden potilasväestöä. Esimerkiksi verenpainepotilaat ovat erilaisia terveyskeskuksessa ja yliopistosairaalassa, jolloin tutkimustulokset voivat erota systemaattisesti näiden eri potilasryhmien välillä.[15]
  • Rekisteriharha (engl. informed presence bias): Henkilön terveydentila vaikuttaa hänen tietojensa olemassaoloon terveydenhuollon rekistereissä, mikä aiheuttaa harhaa yhteyksien arvioimiseen tällaisen rekisteritiedon perusteella. Esimerkiksi terveydenhuollon rekisteritietoja käyttämällä raskaanaolevien naisten depression esiintyvyys saattaa näyttää todellista suuremmalta muihin naisiin verrattuna, koska he käyttävät enemmän terveyspalveluja raskautensa vuoksi.[16]

Valinnan ajoitukseen liittyviin harhoihin taas kuuluvat seuraavat:

  • Epärinnakkaisten kontrollien harha (engl. non-contemporaneous control bias): Jos tapaukset ja kontrollit valikoituvat tutkimusväestöön systemaattisesti eri aikoina ja tämä aika on yhteydessä tutkittaviin muuttujiin, tutkimukseen syntyy harhaa. Esimerkiksi tapausverrokkitutkimuksissa saatetaan käyttää kontrolleja, joista on kerätty tietoa joskus menneisyydessä (engl. historical controls), mutta tapaukset valitaan nykyisyydessä, mikä lisää tutkimuksen harhan riskiä.[17]

Osallistuminen

[muokkaa | muokkaa wikitekstiä]

Kaikki rekrytoiduksi tulleet henkilöt eivät osallistu tutkimukseen ollenkaan tai täysin ja kaikki osallistujat eivät pysy tutkimusväestössä täysin tutkimuksen loppuun saakka. Tähän poistumaan liittyviä valintaharhoja ovat muun muassa seuraavat:

  • Vapaaehtoisuusharha (engl. volunteer bias): Tutkimukseen vapaaehtoisesti hakeutuvat henkilöt eroavat yleensä systemaattisesti lähdeväestöstään, mikä voi aiheuttaa tutkimukseen harhaa. Vapaaehtoiset saattavat olla usein esimerkiksi keskimäärin terveempiä, koulutetumpia ja rikkaampia tai myöntyväisempiä hoito-ohjeisiin.[18]
  • Hiertymisharha (engl. attrition bias): Jos osallistujien poistuminen, kato tai hiertyminen tutkimuksesta on yhteydessä tutkittaviin muuttujiin, syntyy näiden yhteyksien arviointiin harhaa. Esimerkiksi hoidon haittavaikutukset voivat aiheuttaa enemmän katoa hoitoryhmästä, jolloin jäljelle jäävässä tutkimusväestössä hoidon vaikutusten arviointiin syntyy harhaa.[19]

Monet asiat voivat vaikuttaa siihen, kenen kohdalla tehdään mitäkin mittauksia tai toimenpiteitä. Toimenpiteisiin valikoitumiseen liittyviin valintaharhoihin kuuluvat muun muassa seuraavat:

  • Esiinkaivuharha (engl. ascertainment bias): Systemaattiset erot siinä, kuinka havaintoyksikkö valikoituu tiettyyn mittaukseen, aiheuttaa tutkimukseen harhaa. Esimerkiksi statiinin käytön ja Alzheimerin taudin diagnoosin yhteydessä voi olla esiinkaivuharhaa, jos statiinin käyttö on yhteydessä siihen, kuinka aktiivisesti ja herkästi Alzheimerin taudin diagnostiikkaa potilaan kohdalla tehdään.[20]
  • Paljastusharha (engl. unmasking bias): Jos altisteella on jokin vaikutus, joka lisää vastemuuttujaan liittyvien testien tekemistä, altisteen ja vasteen yhteyden arviointiin syntyy harhaa. Esimerkiksi lääke voi lisätä gynekologisia vuotohäiriöitä, jonka seurauksena tehdään enemmän tutkimuksia ja diagnosoidaan enemmän gynekologisia kasvaimia, jolloin lääke voi vaikuttaa harhaisesti aiheuttavan kyseisiä kasvaimia.[21]
  • Tunnettuusharha (engl. popularity bias): Terveydentilojen, testien ja hoitojen jatkuvasti muuttuva tunnettuus, kuuluisuus ja trendikkyys vaikuttaa tilojen tunnistamiseen, tutkimiseen ja hoitoon. Esimerkiksi julkisuuden henkilöiden kokemukset ja mielipiteet voivat lisätä hetkellisesti tutkimusten ja hoitojen kysyntää eri tarkoituksiin, mikä muuttaa hetkellisesti kyseisiä potilasväestöjä.[22]
  • Indikaatioharha (engl. confounding by indication): Jos jokin aihe hoidolle vaikuttaa hoidon käytön lisäksi tutkittavaan vastemuuttujaan, hoidon ja vastemuuttujan yhteyden arviointiin syntyy harhaa. Esimerkiksi infektiotaudit voivat lisätä lapsilla parasetamolin käyttöä ja astman riskiä, mikä voi aiheuttaa harhaa parasetamolin käytön ja astman yhteyden arviointiin.[23]
  • Diagnostisen epäilyn harha (engl. diagnostic suspicion bias): Potilaiden ja terveydenhuollon ammattilaisten diagnostiset epäilyt vaikuttavat siihen, kuinka paljon mitäkin diagnostisia testejä suoritetaan, mikä aiheuttaa harhaa epäilyyn liittyvien tekijöiden ja diagnoosin yhteyden arviointiin. Esimerkiksi syöpää aiheuttaville aineille tietäen altistuneet hakeutuvat herkemmin terveydenhuoltoon syöpätutkimuksiin ja saavat herkemmin syöpädiagnoosin pelkästään aktiivisemman tutkimisen vuoksi.[24]
  • Diagnostinen saatavuusharha (engl. diagnostic access bias): Jos jokin muuttuja on yhteydessä vastemuuttujan mittauksen saatavuuteen ja syyhyn, syyn ja vasteen yhteyden arviointiin syntyy harhaa. Esimerkiksi terveydenhuollon työntekijöille tehdään enemmän rintakehän röntgenkuvauksia helpomman saatavuuden vuoksi, jolloin heillä diagnosoidaan enemmän sarkoidoosia.[25]
  • Verrokkitestiharha (engl. verification bias): Harha, joka johtuu systemaattisesta erosta siinä, kuinka tutkimushenkilöiden tila varmistetaan verrokkitestin avulla. Esimerkiksi tutkittavasta testistä negatiivisen tuloksen saaneille saatetaan tehdä vähemmän invasiivista, sairauden varmistavaa verrokkitestiä.[26]
    • Eriävän verrokkitestin harha (engl. differential reference bias): Jos diagnostisen testin tarkkuutta arvioitaessa ei käytetä samaa verrokkitestiä koko tutkimusväestössä, tarkkuuden arviointiin syntyy harhaa. Esimerkiksi potilailta, jotka saavat tutkittavasta testistä negatiivisen tuloksen, on tutkittavan tilan todellinen olemassaolo saatettu mitata vähemmän haitallisella menetelmällä (esim. kysely) kuin potilailta, jotka saavat tutkittavasta testistä positiivisen tulokset (esim. tietokonetomografia).[27]
    • Puuttuvan verrokkitestin harha (engl. partial reference bias): Jos vain osa tutkimusväestöstä saa tutkittavan testin ja verrokkitestin, tutkittavan testin tarkkuuden arviointiin voi syntyä harhaa. Esimerkiksi invasiivista verrokkitestiä, kuten koepalan ottoa ja tutkimista, voidaan tehdä lähes ainoastaan niille, jotka ovat saaneet tutkittavasta testistä positiivisen tuloksen.[28]

Tutkimuksen valinta- tai sisäänottokriteereihin liittyviin valintaharhoihin kuuluvat muun muassa seuraavat:

  • Vallitsevuus-ilmaantuvuusharha (engl. prevalence-incidence bias): Jos tutkimukseen valitaan vain jossakin tilassa jo olevia henkilöitä, tutkimusväestöstä puuttuvat tapaukset, jotka ovat poistuneet tästä tilasta ennen valituksi tulemisen mahdollisuutta. Esimerkiksi taudista nopeasti parantuneet ja tautiin nopeasti kuolevat potilaat päätyvät epätodennäköisemmin vallitsevuuden pohjalta valittuun tutkimusväestöön, jolloin taudin kirjo tutkimusväestössä eroaa systemaattisesti taudin todellisesta kirjosta.[29]
  • Alttiiden ehtyminen (engl. depletion of susceptibles) on ilmiö, jossa vastetapahtumat ilmenevät nopeasti altistumisen jälkeen jollakin alttiilla osalla väestöstä ja tämän jälkeen altisteelle alttiiden henkilöiden osuus väestössä on matala ja vastetapahtuman riski on jo matala. Alttiiden ehtyminen voi aiheuttaa harhaa tiettyihin analyyseihin, kun altistumisen kestoa ei oteta huomioon alusta asti.[2] Coxin regressioanalyysi tai muut vaarasuhteisiin (engl. hazard ratio) perustuvat analyysit ovat erityisen ongelmallisia tällaisessa tilanteessa. Keskimääräinen vaarasuhde ei kerro mitään vastetapahtumien jakautumisesta seuranta-ajalle, eli alttiiden ennenaikaiset tapahtumat jäävät helposti huomaamatta. Tämän lisäksi kaikissa aikakohtaisissa vaarasuhteissa on valintaharhaa alttiiden ehtymisen jälkeen, koska näiden laskenta rajataan analyysissä henkilöihin, joilla ei vielä ole ilmentynyt vastetapahtumaa (eli henkilöihin, jotka eivät ole enää alttiita vasteelle).[30]

Vaikka tutkimusväestö edustaisi täydellisesti jotakin tutkimuksen lähdeväestöä, se ei välttämättä edusta muita kohdeväestöjä. Tätä kutsutaan yleensä väestön edustavuudeksi tai yleisemmin tutkimuksen yleistettävyydeksi tai ulkoiseksi validiteetiksi. Yleistettävyyteen liittyviin valintaharhoihin kuuluvat muun muassa seuraavat:

  • Spektriharha (engl. spectrum bias): Jos diagnostisen testin tutkimusväestö eroaa testin kohdeväestöstä, testin tarkkuuden arviointiin syntyy harhaa. Esimerkiksi tapaus-verrokkitutkimuksilla on taipumusta yliarvioida diagnostisen testin tarkkuutta, koska valitussa tapausväestössä on kohdeväestöä enemmän vaikeita ja tyypillisiä tautimuotoja (erilainen tautispektri).[31]

Toimenpideharha

[muokkaa | muokkaa wikitekstiä]

Toimenpide- tai interventiotutkimuksissa, kuten kliinisissä kokeissa, systemaattinen vaihtelu tutkittavan toimenpiteen tai muiden toimenpiteiden toteutuksessa ja epäsuorissa vaikutuksissa voi aiheuttaa tutkimukseen harhaa. Tähän liittyviin harhoihin kuuluvat muun muassa seuraavat:

  • Ryhmiinjaon harha (engl. allocation bias): Harha, joka johtuu mistä tahansa systemaattisesta erosta, jonka valittujen tutkimushenkilöiden jakaminen eri toimenpiteisiin aiheuttaa. Esimerkiksi tieto siitä, että seuraava osallistuja jaetaan tiettyyn toimenpideryhmään voi vaikuttaa siihen, millainen osallistuja tutkimukseen seuraavaksi valikoituu ja näin aiheuttaa valintaharhan tutkimukseen.[32]
  • Sokkouttamisen puute (engl. blinding): Tieto siitä, minkä toimenpiteen tutkimushenkilö on vastaanottanut voi vaikuttaa paitsi suoraan tutkimushenkilön käytökseen ja tilaan niin myös mittaajien, tiedonkerääjien, analyysin tekevien tai muiden henkilöiden käytökseen. Esimerkiksi lääkehoitokokeessa kapselin maku tai sivuvaikutukset voivat paljastaa jotain toimenpideryhmästä, jolloin sokkouttaminen on ainakin osittain epäonnistunut.[33]
  • Suoritusharha (engl. performance bias): Jos tutkimusväestön eri toimenpideryhmät saavat erilaista muuta terveydenhoitoa, tutkittavan hoidon vaikutuksen arviointiin syntyy harhaa. Esimerkiksi verrokkihoitoa saavilla sokkouttamattomilla tutkimushenkilöillä voi olla taipumusta käyttää enemmän muita hoitoja riittämättömäksi koetun verrokkihoidon lisäksi.[34]
  • Myöntyvyysharha (engl. compliance bias): Jos myöntyvyys tutkittavaan toimenpiteeseen on yhteydessä tutkittaviin vastemuuttujiin, toimenpiteen vaikutuksen arviointiin syntyy harhaa. Esimerkiksi kliinisissä lääkekokeissa tutkimuksen hoitoprotokollaa noudattavilla on usein lääkkeen vaikutuksesta riippumatta parempi ennuste heikommin ohjeisiin myöntyviin verrattuna.[35]

Informaatioharha

[muokkaa | muokkaa wikitekstiä]

Informaatioharha (engl. information bias) on harha, joka johtuu mistä tahansa tiedonkeruun, mittaamisen ja tiedonhallinnan systemaattisesta erosta. Informaatioharha näkyy tutkimusaineistossa systemaattisesti virheellisinä ja puuttuvina arvoina. Esimerkiksi itseraportoidut ruutuajat eroavat todellisesta ajasta systemaattisesti, koska tutkimushenkilöt yliarvioivat lyhyitä ruutuaikoja ja aliarvioivat pitkiä ruutuaikoja.[36]

Mittausvirheet

[muokkaa | muokkaa wikitekstiä]

Mittausmenetelmässä olevat virheet voivat aiheuttaa tutkimukseen harhaa monesta syystä. Näihin informaatioharhoihin kuuluvat ainakin seuraavat:

  • Herkkyysharha (engl. insensitive measure bias): Mittausmenetelmä, joka ei ole tarpeeksi herkkä havaitsemaan merkittäviä eroja tutkittavassa muuttujassa, voi aiheuttaa tuloksiin harhaa. Esimerkiksi syöpien vaiheen kliinisessä määrittämisessä voi olla epäherkkyyttä, mikä aiheuttaa harhaa syöpärekisteriaineistoja hyödyntävissä tutkimuksissa.[37]
  • Virheluokitteluharha (engl. misclassification bias): Luokkamuuttujien tapauksessa mittausvirheestä käytetään nimitystä virheluokittelu. Erityisesti tutkittavista muuttujista riippuva eriävä virheluokittelu (engl. differential misclassification) aiheuttaa harhaa näiden muuttujien yhteyden arviointiin. Esimerkiksi eturauhassyövän luokittelussa on virhettä, joka voi riippua potilaan koosta, jolloin potilaan koon ja eturauhassyövän yhteyden arviointiin syntyy harhaa.[38]
  • Havaitsijaharha (engl. observer bias): Vaihtelu mittaajien, havaitsijoiden tai tiedonkerääjien toiminnassa ja eri mittaajien välillä voi aiheuttaa tutkimukseen harhaa.[39] Esimerkiksi radiologiassa kuvan tulkinta riippuu jonkin verran tulkitsijasta ja siitä, mitä tulkitsija tietää kuvatusta potilaasta.
  • Vastaamattomuusharha (engl. non-response bias): Jos tutkimushenkilöt, jotka eivät vastaa kyselyyn tai joihinkin sen osiin, eroavat kyselyyn ajallaan vastaavista, tutkimukseen voi syntyä harhaa. Esimerkiksi kyselyihin vastaavat henkilöt voivat olla terveempiä kuin kyselyyn vastaamattomat, mikä aiheuttaa harhaa väestön terveydentilan arviointiin.[40]
  • Muistiharha (engl. recall bias): Jos tutkittavat muuttujat ovat yhteydessä siihen, kuinka hyvin tai tarkasti tutkimushenkilö muistaa kyselyssä tai haastattelussa mitattavia asioita, tutkimukseen syntyy harhaa. Esimerkiksi syöpään sairastuneiden lasten vanhemmat voivat kokemuksensa vuoksi muistaa eri tavalla lapsen elinaikanaan sairastamat infektiotaudit kuin verrokkilasten vanhemmat.[41]
  • Havaitsemisharha (engl. detection bias): Jos jokin muuttuja on yhteydessä vastemuuttujan mittaamisen tarkkuuteen ja vastemuuttujan syyhyn, syyn ja vasteen yhteyden arviointiin syntyy harhaa. Esimerkiksi lihavuus vaikuttaa eturauhassyövän diagnostiikan tarkkuuteen, mikä aiheuttaa harhaa lihavuuden ja eturauhassyövän yhteyden arviointiin.[42]
  • Mimiikkaharha (engl. mimicry bias): Jos altiste aiheuttaa joitakin muita seurauksia, jotka luokitellaan virheellisesti vasteeksi, altisteen ja vasteen yhteyden arviointiin syntyy harhaa. Esimerkiksi lääke voisi aiheuttaa oireena keltaisuutta, joka voi lisätä väärän hepatiitti-diagnoosin riskiä, mikä aiheuttaisi harhan lääkkeen ja hepatiitin yhteyden arviointiin.[43]
  • Viiveaikaharha (engl. latency time bias): Altiste voi vaikuttaa vasteeseen pitkälläkin viiveellä. Tietyllä ajanjaksolla ensimmäisestä altistumiskerrasta altisteen aiheuttamat vasteet voivat olla todellisuudessa mahdottomia. Jos latenssiaikana ilmentyneet tapaukset kuitenkin luokitellaan virheellisesti altisteen aikana tapahtuneiksi, altisteen vaikutuksen arviointiin syntyy harhaa.[2]
  • Kuolemattomuusharha (engl. immortal time bias) on viiveaikaharhan tavoin peräisin seuranta-ajan virheluokittelusta. Tässä virheessä on kyse siitä, että aika ennen altistumisen alkamista luokitellaan virheellisesti altistuneeksi ajaksi. Tämä aiheuttaa harhaa yksinkertaisesta syystä: jos vaste havaittaisiin ennen altistumista, se olisi tietysti luokiteltu tapahtuneeksi altistumattomaksi seuranta-ajaksi. Virheellisesti luokiteltua aikaa ennen altistumista on kutsuttu kuolemattomaksi, koska kuolemaa tai muuta vastetapahtumaa ei olisi voinut tapahtua väitetyllä tavalla.[2]
  • Aikaikkunaharhaa voi syntyä, kun vertailuryhmien seuranta-ajat eroavat systemaattisesti. Jos esimerkiksi tapauksista on kerätty altistetietoa lyhyemmältä ajalta kuin verrokeilta, on selvää, että verrokit voivat näyttää virheellisesti altistuneen tapauksia enemmän, ja tämän seurauksena altiste voi näyttää virheellisesti suojaavan vastetapahtumalta. Aikaikkuna voi erota esimerkiksi sen vuoksi, että tapaukset ovat viettäneet enemmän aikaa sairaalassa ja hoidosta tältä ajalta ei ole tietoa. Virhe syntyy, jos sairaalassaoloaika luokitellaan virheellisesti altistumattomaksi.[2]

Mittaamisen vaikutukset

[muokkaa | muokkaa wikitekstiä]

Mittaaminen voi vaikuttaa itsessään mittauksen tuloksiin, usein mittaustulosten oletettujen tai mahdollisten seurauksien vuoksi. Tähän liittyvät seuraavat informaatioharhat:

  • Hawthorne-vaikutus (engl. Hawthorne effect): Seurattavana ja arvioitavana oleminen voi vaikuttaa tutkimusväestön käytökseen. Esimerkiksi käsien desinfioinnin määrän seuraaminen avoimesti sairaalassa lisää itsessään käsien desinfioinnin määrää, mikä aiheuttaa harhaa desinfioinnin määrän arviointiin.[44]
  • Huoliharha (engl. apprehension bias): Tutkittavana ja mitattavana olemisen aiheuttama ahdistus voi vaikuttaa mittausten tuloksiin. Esimerkiksi verenpainearvot ovat usein korkeampia lääkärin mittaamana kuin kotona mitattuna (valkotakkihypertensio).[45]
  • Hyväksyttävyysharha (engl. acceptability bias): Tiedonkeruun, mittausten ja testien hyväksyttävyys vaikuttaa siihen, kuinka moni suostuu tai vastaa niihin. Esimerkiksi kysymykset huumeiden ja alkoholin käytöstä tai seksuaalisesta käyttäytymistä voidaan koeta liian henkilökohtaisina tai kiusallisina, mikä aiheuttaa harhaa näiden mittaamiseen kyselyiden tai haastatteluiden avulla.[46]
  • Taudin hyväksyttävyysharha (engl. unacceptable disease bias): Jos sairaus tai terveydentila ei ole sosiaalisesti hyväksyttävä, se jää todennäköisemmin raportoimatta tai raportoidaan väärin. Esimerkiksi psykiatriset häiriöt ovat aliraportoituja työpoissaolojen syitä.[47]

Raportointiharha

[muokkaa | muokkaa wikitekstiä]

Raportointiharha johtuu mistä tahansa tutkimuksen ali- tai virheraportoinnista, joka riippuu myös usein tutkimuksen tuloksista[48].

Julkaiseminen

[muokkaa | muokkaa wikitekstiä]
  • Julkaisuharha (engl. publication bias): Jos tutkimuksen julkaisupäätös riippuu sen tuloksista, tutkimuskirjallisuuteen syntyy harhaa. Esimerkiksi tilastollisesti merkitsevät tulokset lisäävät julkaisemisen todennäköisyyttä (positiivisen tuloksen harha).[49]
  • Vasteraportointiharha (engl. outcome reporting bias): Jos tutkimuksessa mitataan useita vastemuuttujia, mutta näistä raportoidaan ja julkaistaan vain valikoitunut osa, tutkimuksen tulokseen ja tulkintaan syntyy harhaa. Esimerkiksi kliinisestä kokeesta voidaan valikoivasti raportoida vain tilastollisen merkitsevyyden ylittäneitä hyötyvasteita, mikä aiheuttaa harhan kyseistä hoitoa koskevan näytön tulkintaan ja hoidon vaikutusten arviointiin.[50]

Monet piirteet tutkimuksessa ja sen tuloksissa vaikuttavat siihen, julkaistaanko tuloksia ja millä tavalla ne raportoidaan. Näihin liittyvät muun muassa:

  • Positiivisen tuloksen harha (engl. positive results bias): Jonkin vaikutuksen havainneita tutkimustuloksia lähetetään ja hyväksytään julkaistavaksi todennäköisemmin ja nopeammin, mikä aiheuttaa harhan tutkimuskirjallisuuteen. Esimerkiksi kliininen lääkehoitokoe voi jäädä todennäköisemmin julkaisematta, jos siinä ei havaita hyödyllistä vaikutusta tutkittavaan vastemuuttujaan.[51]

Tutkimuskirjallisuuden valikoiva etsiminen, valinta ja tulkinta aiheuttaa harhaa tutkimusraporttiin. Tähän liittyvät ainakin seuraavat raportointiharhat:

  • Kaikki hyvin -harha (engl. alls well literature bias): Raportoivan henkilön taipumus vähätellä tai jättää huomiotta vallitsevan mallin, teorian tai paradigman uskottavuutta heikentävää tietoa.[52]
  • Viittausharha (engl. one-sided reference bias): Jos tutkija tai tutkimuskirjallisuutta tulkitseva henkilö etsii ja valitsee viitteitä yksipuolisesti jonkin ennakko-oletuksen pohjalta (yleensä tavoitteenaan perustella tiettyä käsitystä tai mallia), hän muodostaa olemassa olevasta todellisesta tietämyksestä ja näytöstä harhaisen kuvan. Esimerkiksi jonkin lääkkeen käyttöä puolustavien tai vastustavien kirjoitusten lähdeviitteistä tyypillisesti puuttuu enemmän kirjoituksen väitettä vastaan olevia lähteitä.[53]

Kirjoittaminen

[muokkaa | muokkaa wikitekstiä]

Tutkimuksen raportointiin liittyy myös paljon kielellisiä vapauksia, mikä lisää harhan riskiä tulosten tulkinnassa ja tutkimuskirjallisuudessa. Näihin kuuluvat muun muassa seuraavat:

  • Retoriset harhat: Monien retoristen eli puhetaidollisten keinojen käyttäminen viestinnässä vääristää välitettävää tietoa. Retoristen keinojen tavoitteena onkin yleensä kuulijan mielipiteen tai uskomuksen muuttaminen eikä tiedon täsmällinen siirtäminen. Esimerkiksi henkilö saattaa yrittää vaikuttaa tutkimusten tulkintaan vetoamalla tunteisiin tai käyttämällä tarpeettomasti ammattikieltä auktoriteettinsa vahvistamiseksi.[54]
  • Vääristelyharha (engl. spin bias): Harha, joka johtuu mistä tahansa tutkimuksen tulosten vääristelevästä kuten peittelevästä, harhaanjohtavasta tai kaunistelevasta tulkinnasta tutkimusraportissa. Esimerkiksi kliinisen kokeen julkaisun yhteenvedossa tutkijat saattavat kirjoittaa hoidon käytöstä edelleen myönteiseen sävyyn vaikka heidän tuloksensa eivät tue hoidon käyttöä.[55]
  • Kieliharha (engl. language bias): Jos erilaisia tutkimuksia julkaistaan eri kielillä, tutkimuksiin syntyy harhaa, jos niiden aineistona käytetään vain tietyllä kielellä (yleensä englanti) kirjoitettuja julkaisuja. Esimerkiksi tilastollisesti merkitseviä tuloksia julkaistaan todennäköisemmin englanniksi, mikä aiheuttaa englanninkieliseen kirjallisuuteen kieliharhan.[56]

Kognitiivinen vinouma

[muokkaa | muokkaa wikitekstiä]

Kognitiivinen vinouma (engl. cognitive bias) on ihmisen yleinen taipumus havainnoida, aistia, muistaa ja tulkita asioita virheellisesti. Erilaisia ihmisen kognition (tiedonkäsittelyn) harhoja on erotettu kymmeniä ellei satoja. Esimerkiksi ihmiset havainnoivat ympäristöstä tulevaa tietoa valikoivasti oletuksiensa pohjalta ja ihmisiin kohdistetut odotukset vaikuttavat heidän itseraportoimaansa terveyteen[57]. Tutkimuksessa oleellisiin kognitiivisiin harhoihin kuuluvat muun muassa seuraavat:

  • Vahvistusharha (engl. confirmation bias): Ihmisen kognitiivinen taipumus etsiä, valita ja painottaa tietoa, joka vahvistaa ennakko-oletuksia tai -uskomuksia. Esimerkiksi tiettyä lääketieteellistä hoitolinjaa kannattava henkilö saattaa perustella hoitolinjaa vain sillä osalla tutkimustuloksista, jotka tukevat tätä hoitolinjaa.[58]
  • Ensiarvioharha (engl. previous opinion bias): Edellinen arvio jostakin vaikuttaa, miten toinen arvio tai uudelleenarvio samasta asiasta suoritetaan, mikä voi aiheuttaa arvioon harhaa. Esimerkiksi lääkäri kertoo konsultoidessaan oman arvionsa ja epäilynsä tilanteesta, mikä voi vaikuttaa liian voimakkaasti konsultoitavan lääkärin toimintaan.[59]
  • Tiedon saatavuusharha (engl. availability bias): Tiedon saatavuus vaikuttaa siihen, kuinka paljon tietoa painotetaan tai kuinka todennäköisesti se päätyy käytettäväksi, mikä voi aiheuttaa tutkimukseen harhaa. Esimerkiksi lääkärit diagnosoivat enemmän tauteja, joita ovat kokeneet enemmän lähiaikoina (diagnoosin saatavuus episodisesta muistista) tai tutkijat käyttävät enemmän helpommin saatavilla olevia, usein valmiiksi kerättyjä aineistoja.[60]
  1. Sterne J A, Hernan M A, Reeves B C, Savovic J, Berkman N D, Viswanathan M et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions BMJ 2016; 355 :i4919 doi:10.1136/bmj.i4919
  2. a b c d e Suissa S, Dell'Aniello S. Time-related biases in pharmacoepidemiology. Pharmacoepidemiol Drug Saf. 2020 Sep;29(9):1101-1110. doi: 10.1002/pds.5083. Epub 2020 Aug 11. PMID: 32783283.
  3. Catalog of bias collaboration, Aronson JK, Bankhead C, Nunan D. Confounding. In Catalog Of Biases. 2018. https://www.catalogofbias.org/biases/confounding
  4. Catalog of Bias Collaboration, Spencer EA, Heneghan C. Chronological bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/chronological-bias/
  5. Catalog of Bias Collaboration, Aronson JK, Bankhead C, Nunan D. Hot stuff bias.In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/hot-stuff-bias/
  6. Catalog of Bias Collaboration. Persaud N, Heneghan C. Novelty Bias. In: Catalog Of Bias: https://www.catalogofbias.org/biases/novelty-bias/
  7. Catalog of Bias Collaboration, Heneghan C, Spencer EA. Substitution game bias. In: Catalog Of Bias 2019: https://www.catalogofbias.org/biases/substitution-game-bias/
  8. Catalog of Bias Collaboration. Incorporation bias. Annette Plüddemann and Marcy McCall Incorporation bias. In: Sackett Catalog Of Biases 2019: https://www.catalogofbias.org/biases/incorporation-bias/
  9. Catalog of Bias Collaboration, Holman B, Bero L, & Mintzes B. Industry Sponsorship bias. Catalog Of Bias 2019: https://www.catalogofbias.org/biases/industry-sponsorship-bias/
  10. Catalog of Bias Collaboration, Spencer EA, Brassey J, Mahtani K, Heneghan C. Wrong sample size bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/wrong-sample-size-bias/
  11. Catalog of Bias Collaboration, Nunan D, Bankhead C, Aronson JK. Selection bias. Catalog Of Bias 2017: http://https (Arkistoitu – Internet Archive)://www.catalogofbias.org/biases/selection-bias/
  12. Catalog of bias collaboration, Lee H, Aronson JK, Nunan D. Collider bias. In Catalog Of Bias. 2019. https://www.catalogofbias.org/biases/collider-bias/
  13. Catalog of Bias Collaboration. Spencer EA, Aronson JK, Nunan D, Heneghan C. Berkson’s bias. In: Catalog Of Bias 2018: https://www.catalogofbias.org/biases/admission-rate-berkson-bias
  14. Catalog of Bias Collaboration. Carl Heneghan. Centripetal bias. In: Catalog Of Bias 2019. https://www.catalogofbias.org/biases/centripetal-bias/
  15. Catalog Of Bias Collaboration. Bankhead C, Nunan D, Aronson JK. Referral filter bias. In: Catalog Of Biases 2019. https://www.catalogofbias.org/biases/referral-filter-bias/
  16. Catalog of Bias Collaboration, Spencer EA; O’Sullivan J. Informed Presence Bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/informed-presence-bias/
  17. Catalog of Bias Collabaration, Spencer EA, Brassey JR, Heneghan C. Non-contemporaneous control bias. In: Catalog of Bias 2017. https://www.catalogofbias.org/biases/non-contemporaneous-control-bias
  18. Catalog of Bias Collaboration, Brassey J, Mahtani KR, Spencer EA, Heneghan C. Volunteer bias. Catalog Of Bias 2017: http://https (Arkistoitu – Internet Archive)://www.catalogofbias.org/biases/volunteer-bias
  19. Catalog of Bias Collaboration, Bankhead C, Aronson JK, Nunan D. Attrition bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/attrition-bias/
  20. Catalog of Biases Collaboration, Spencer EA, Brassey J. Ascertainment bias. In: Catalog Of Bias 2017: https://www.catalogofbias.org/biases/ascertainment-bias/
  21. Catalog of Biases Collaboration. Spencer EA, Aronson JK Heneghan C. Unmasking (detection signal) bias. In: Catalog Of Bias 2019. https://www.catalogofbias.org/biases/unmasking-detection-signal-bias
  22. Catalog of Bias Collaboration, Spencer EA, Brassey J, Heneghan C. Popularity bias. In: Catalog Of Bias 2017: https://www.catalogofbias.org/biases/popularitybias[vanhentunut linkki]
  23. Catalog of bias collaboration, Aronson JK, Bankhead C, Mahtani KR, Nunan D. Confounding by indication. In Catalog Of Biases. 2018. https://www.catalogofbias.org/biases/confounding-by-indication
  24. Catalog of Bias Collabaration, Banerjee A, Pluddemann A, O’Sullivan J. Diagnostic suspicion bias. In: Catalog of Bias 2017. https://www.catalogofbias.org/biases/diagnostic-suspicion-bias/
  25. Catalog of Bias Collaboration, Banerjee A, O’Sullivan J, Pluddemann A, Spencer EA. Diagnostic access bias. In: Catalog Of Biases 2017. https://www.catalogofbias.org/biases/diagnostic-access-bias/
  26. Catalog of Bias Collaboration. Pluddemann A, McCall M, O’Sullivan J, Banerjee A. Verification bias. In: Catalog of Bias 2019 https://www.catalogofbias.org/biases/verification-bias/
  27. Catalog of Bias Collaboration, Plüddemann A, McCall M. Differential reference bias. In: Catalog of Bias 2019. https://www.catalogofbias.org/biases/differential-reference-bias/
  28. Catalog of Bias collabaration. Plüddemann A and McCall M. Partial reference bias. In: Catalog of Bias 2019 https://www.catalogofbias.org/biases/partial-reference-bias/
  29. Catalog of Bias Collaboration, Spencer EA, Heneghan C. Prevalence-incidence (Neyman) bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/prevalence-incidence-neyman-bias/
  30. Hernán MA. The hazards of hazard ratios. Epidemiology. 2010 Jan;21(1):13-5. doi: 10.1097/EDE.0b013e3181c1ea43. Erratum in: Epidemiology. 2011 Jan;22(1):134. PMID: 20010207; PMCID: PMC3653612.
  31. Catalog of Bias Collaboration. Pluddemann A, Banerjee A, O’Sullivan J; Spectrum bias. In: Sackett Catalog Of Bias 2019. https://www.catalogofbias.org/biases/spectrum-bias/
  32. Catalog of Bias Collaboration. Spencer EA, Heneghan C, Nunan D. Allocation bias. In: Catalog of Bias 2017. https://www.catalogofbias.org/biases/allocation-bias/
  33. Catalog of Bias Collaboration, Nunan D, Heneghan C. Lack of blinding. In: Catalog Of Bias 2018. https://www.catalogofbias.org/biases/lackofblinding[vanhentunut linkki]
  34. Catalog of Bias Collaboration. Banerjee A, Pluddemann A, O’Sullivan J, Nunan D. Performance bias. In: Catalog Of Bias 2019. https://www.catalogofbias/biases/performance-bias/[vanhentunut linkki]
  35. Catalog of Biases Collaboration, Spencer EA, Heneghan C. Compliance bias. In: Catalog Of Biases 2018: https://www.catalogofbias.org/biases/compliancebias[vanhentunut linkki]
  36. Catalog of bias collaboration. Bankhead CR, Spencer EA, Nunan D. Information bias. In: Sackett Catalog Of Biases 2019. https://www.catalogofbias.org/biases/information-bias/
  37. Catalog of Bias Collaboration. Heneghan C, Brassey J. Insensitive measure bias. In: Catalog Of Bias 2019: https://www.catalogofbias.org/biases/insensitive-measure-bias/
  38. Collaboration, Spencer EA, Mahtani KR, Brassey J, Heneghan C. Misclassification bias. In Catalog Of Bias 2018. http://https (Arkistoitu – Internet Archive)://www.catalogofbias.org/biases/misclassificationbias[vanhentunut linkki]
  39. Catalog of Bias Collaboration. Mahtani K, Spencer EA, Brassey J. Observer bias. In: Catalog Of Bias 2017: https://www.catalogofbias.org/biases/observer-bias
  40. Catalog of Bias Collaboration. Turk A, Heneghan C, Nunan D. Non-response bias. In: Catalog of Bias 2019. https://www.catalogofbias.org/biases/non-response-bias/
  41. Catalog of Bias Collaboration, Spencer EA, Brassey J, Mahtani K. Recall bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/recall-bias
  42. Catalog of Bias Collabaration, O’Sullivan J, Banerjee A, Pluddemann A. Detection bias. In: Catalog of Bias 2017: https://www.catalogofbias.org/biases/detection-bias/
  43. Catalog of Bias Collaboration, Spencer EA, Heneghan C. Mimicry bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/mimicry-bias/
  44. Sackett Catalog of Bias Collaboration, Spencer EA, Mahtani K, Hawthorne bias. In: Catalog Of Bias 2017: https://www.catalogofbias.org/biases/hawthorne-effect/
  45. Catalog of bias collaboration; Brassey J; Mahtani KR; Spencer EA. Apprehension bias. In: Catalog Of Bias 2019. https://www.catalogofbias.org/biases/apprehension-bias/
  46. Catalog of Bias Collaboration. Heneghan C, Spencer EA. Unacceptability bias. In: Catalog Of Bias 2019: https://www.catalogofbias.org/biases/unacceptability-bias/
  47. Catalog of Bias Collaboration, Spencer EA, Heneghan C. Unacceptable disease bias. In: Catalog Of Bias 2017: https://www.catalogofbias.org/biases/unacceptable-disease-bias
  48. Catalog of Bias. Richards GC, Onakpoya IJ. Reporting biases. In: Catalog Of Bias 2019: https://www.catalogofbias.org/biases/reportingbiases[vanhentunut linkki]
  49. Catalog of bias collaboration, Devito N, Goldacre B. Publication bias. In Catalog Of Bias. 2019. https://www.catalogofbias.org/biases/publicationbias/[vanhentunut linkki]
  50. Catalog of Bias Collaboration, Thomas ET, Heneghan C. Outcome reporting bias. In: Catalog Of Biases 2017: https://www.catalogofbias.org/biases/outcomereportingbias[vanhentunut linkki]
  51. Catalog of Bias Collaboration, Plüddemann A, Banerjee A, O’Sullivan J. Positive results bias. In: Catalog Of Biases 2017. https://www.catalogofbias.org/biases/positive-results-bias
  52. Catalog of Bias Collaboration. Spencer EA, Heneghan C. All’s well literature bias. In: Catalog Of Biases 2018: https://www.catalogofbias.org/biases/allswellliteraturebias[vanhentunut linkki]
  53. Catalog of Bias Collaboration, Spencer EA, Brassey J, Heneghan C. One-sided reference bias. In: Catalog of Bias 2017 https://www.catalogofbias.org/biases/one-sided-reference-bias
  54. Catalog of Bias Collaboration, Heneghan C, Spencer EA. Biases of rhetoric. In: Catalog of Bias 2017. https://www.catalogofbias.org/biases/biasesofrhetoric[vanhentunut linkki]
  55. Catalog of Bias Collaboration, Mahtani KR, Chalmers I, & Nunan D. Spin Bias. Catalog Of Bias. 2019. https://www.catalogofbias.org/biases/spin-bias/
  56. Catalog of Bias Collaboration, Brassey J, Spencer EA, Heneghan C. Langauge bias. In: Catalog Of Bias 2017: https://www.catalogofbias.org/biases/language-bias
  57. Catalog of Bias Collaboration, Spencer EA, Brassey JR. Perception bias. In: Catalog Of Bias 2017. https://www.catalogofbias.org/biases/perception-bias
  58. Catalog of Bias Collaboration. Spencer EA, Heneghan C. Confirmation bias. In: Catalog Of Bias 2018. https://www.catalogofbias.org/biases/confirmationbias[vanhentunut linkki]
  59. Catalog of Bias Collaboration, Heneghan C, Spencer EA. In: Catalog of Bias 2017. Previous opinion bias. https://www.catalogofbias.org/biases/previous-opinion-bias/
  60. Catalog of Bias Collaboration, Banerjee A, Nunan D. Availability bias. In: Catalog of Bias 2019: https://www.catalogofbias.org/biases/availabilitybias[vanhentunut linkki]