P-värden och Bayesiansk inferens i klinisk forskning

P-värden används ofta för att bedöma resultat i klinisk forskning. Om vi delar in resultaten efter en signifikansgräns kan nästan lika stora p-värden få olika etiketter. Den lilla skillnaden kan då få orimligt stor betydelse för vilka vetenskapliga slutsatser vi drar.

Statistisk signifikans beskriver inte i sig effektens storlek, skattningens precision eller resultatets kliniska relevans. För att tolka resultatet behöver vi veta vilken sannolikhet p-värdet beskriver, vilka antaganden analysen bygger på och vad studien försöker ta reda på.

I p-värdets historia återkommer två frågor: vad ett enskilt experiment ger för evidens och vilka felrisker en statistisk metod har när den används upprepade gånger. Konfidensintervall och Bayesiansk inferens ger ytterligare redskap för att beskriva osäkerhet. Med Bayesiansk inferens kan vi efter att ha sett data ange sannolikheter för effektens riktning, storlek och relevans. Sannolikheterna gäller då den modell och priorfördelning vi har valt.

Interaktiva figurer. Peka på en måttknapp eller flytta tangentbordsfokus till den för en förklaring. Klicka eller tryck på knappen för att fästa förklaringen; Escape återställer. Reglagen kan användas med tangentbordets piltangenter.

Standardavvikelsen, SD, beskriver spridning i en fördelning: mellan observationer eller, för en prior eller posterior, osäkerhet om en parameter. Standardfelet, SE, beskriver en skattnings variation mellan hypotetiska upprepade studier enligt modellen. KI betecknar konfidensintervall. Teststatistikorna z och t uttrycker en skattnings avstånd från ett prövat värde i standardfel; deras referensfördelningar beror på vad som antas vara känt eller skattat. N(m, v) betecknar en normalfördelning med medelvärde m och varians v, det vill säga standardavvikelsen i kvadrat.

John Arbuthnot och könsfördelningen i Londons dopregister

John Arbuthnot var läkare vid det brittiska hovet. I An Argument for Divine Providence, som bibliografiskt brukar dateras till 1710, använde han uppgifter från London för att argumentera för gudomlig försyn. Syftet var att förklara varför antalet pojkar och flickor var förhållandevis jämnt och varför pojkar ändå återkommande var något fler. Han utgick från att denna ordning säkerställde fortplantningen och att den därför kunde vittna om en avsikt bakom naturen. (1, s. 186–190).

Underlaget var en tabell över registrerade dop i London under 82 år, 1629–1710. Artikeln talar om födslar, men tabellens rubrik anger döpta barn. Tabellen kan därför inte läsas som en fullständig förteckning över alla födslar. Pojkarna var enligt tabellen fler än flickorna varje år. År 1629 redovisades 5 218 pojkar och 4 683 flickor; år 1703 var antalen 7 765 respektive 7 683. Överskottets storlek varierade, medan riktningen var densamma. (1, s. 189–190).

Arbuthnot började med en tärning med två sidor, en för pojke och en för flicka. I den symmetriska slumpmodellen var sidorna lika sannolika. Två kast gav fyra lika sannolika ordnade utfall: pojke–pojke, pojke–flicka, flicka–pojke och flicka–flicka. Två av dem gav exakt lika antal av könen. För fler kast använde han binomialutvecklingen för att räkna möjliga utfall. Vid ett växande jämnt antal kast minskar sannolikheten för exakt lika antal. Han medgav emellertid att naturen bara behövde ge ungefärlig balans. Exakt likhet i antal och en relativandel nära hälften är olika krav; minskad sannolikhet för det första innebär inte att det andra blir mindre sannolikt.

Det mest kända resonemanget gällde sedan pojköverskottets riktning år efter år. Arbuthnot formulerade det som en vadslagning: hur sannolikt var det att pojkarna skulle vara fler varje år, om övervikten lika gärna kunde gå åt andra hållet? Med dagens språk kan detta tolkas som ett ensidigt teckentest. Varje år räknas som en övervikt åt ena eller andra hållet; överskottets storlek används inte i denna beräkning.

Under symmetrimodellen är sannolikheten för strikt pojköverskott ett visst år högst en halv. Den kan vara något mindre eftersom exakt lika antal är möjligt. Om årens utfall dessutom är oberoende blir sannolikheten för pojköverskott under samtliga 82 år därför högst

(1/2)⁸² ≈ 2,07 × 10⁻²⁵.

Arbuthnot använde själv en halv som en försiktig övre gräns i vadslagningsargumentet och upprepade faktorn för varje år. Med dagens formulering görs dessutom antagandena om symmetri och oberoende uttryckliga. Beräkningen gäller alltså utfall under den valda symmetriska slumpmodellen.

Han tolkade pojköverskottet som kompensation för männens större risk att dö genom yttre faror. Enligt hans resonemang hade Skaparen ordnat fler pojkfödslar för att det senare skulle finnas ungefär lika många män och kvinnor i lämplig ålder. Han gick därmed från en sannolikhetsberäkning till en förklaring om naturens ändamål. I ett avslutande tillägg argumenterade han också mot polygami: om en man hade tjugo hustrur skulle nitton andra män bli utan. Tillägget uttryckte hans teologiska och moraliska slutsats.

Här syns ett återkommande problem när vi drar statistiska slutsatser. Även om ett utfall är mycket osannolikt under en modell vet vi inte automatiskt vilken annan förklaring som är den riktiga. En slumpmodell med en liten, bestående pojkövervikt kan också ge fler pojkar i stora årsgrupper. Regelbundenhet och slumpvariation kan alltså förekomma samtidigt. Arbuthnots beräkning prövade symmetrin; hans slutsats om gudomlig försyn krävde ytterligare antaganden som själva beräkningen inte prövade.

Thomas Bayes, Richard Price och det omvända sannolikhetsproblemet

Thomas Bayes efterlämnade en essä om ett problem som i dag är centralt för statistisk inferens: hur observationer kan användas för att bedöma en okänd sannolikhet. Richard Price fann texten bland sin avlidne väns papper och förmedlade den till Royal Society genom ett brev till John Canton. Essän publicerades postumt 1763. Price redogjorde för arbetets betydelse, tillförde kommentarer och utarbetade tillämpningar i ett appendix. Price gjorde alltså både redaktionella och matematiska insatser i samband med publiceringen. (2, inledande brev).

Skillnaden mellan det vanliga och det omvända problemet kan beskrivas med ett mynt. Om sannolikheten för krona är känd går det att beräkna sannolikheten för ett visst antal kronor. Bayes behandlade den omvända frågan: om en händelse har inträffat ett visst antal gånger och uteblivit ett visst antal gånger, vad kan sägas om dess okända sannolikhet? Målet var att beräkna sannolikheten för att denna chans ligger mellan två angivna gränser. Frågan gäller alltså vad vi kan säga om en okänd storhet när observationerna är gjorda. Det är en annan fråga än hur stor svanssannolikheten för data är under ett bestämt antagande.

För att konstruera problemet införde Bayes ett geometriskt tankeexperiment. Ett klot placeras slumpmässigt på en kvadratisk bordsyta, med samma sannolikhet för lika stora delar av ytan. Genom dess position dras en linje som delar bordet. Ett andra klot placeras sedan upprepade gånger enligt samma regel. Att detta klot hamnar på en bestämd sida om linjen räknas som att händelsen inträffar. Det första klotets läge bestämmer därmed en chans som är gemensam för de efterföljande försöken. (2, avsnitt II, postulaten och proposition 8–9).

Bordets konstruktion ger, med modern terminologi, en likformig prior för den okända chansen mellan noll och ett. När klotets läge är okänt men antalet utfall på vardera sidan har observerats kan olika lägen viktas efter hur väl de förklarar utfallet. Bayes uttryckte den efterföljande sannolikheten som en kvot mellan areor under en kurva. Kurvans form motsvarar med dagens notation sannolikheten för de observerade framgångarna och misslyckandena vid varje möjlig chans. Att dela med hela arean ger en normaliserad fördelning över den okända storheten.

Nästa fråga var om resonemanget om det konstruerade bordet också kunde användas för händelser som man inte visste något om i förväg. Bayes försvarade detta i ett scholium, en förklarande kommentar efter proposition 9. Han argumenterade för att det före försöken inte fanns skäl att föredra något möjligt antal framgångar framför något annat. Prices brev visar att Bayes hade tvekat inför det ursprungliga postulatets allmänna rimlighet. Redan i essän diskuterades alltså svårigheten att välja en utgångsfördelning. En likformig prior följer av bordets konstruktion; att använda den i ett annat sakproblem kräver en motivering.

Även här fanns en teologisk ambition. Price förband inferens från regelbundenheter med frågan om stabila orsaker och en intelligent skapare. Detta påminner om Arbuthnots syfte, men det matematiska problemet var annorlunda. För att gå från observationer till en förklaring behövdes en uttrycklig sannolikhetsmodell. Den beräknade arean räckte i sig inte för att motivera den religiösa tolkningen.

Pierre-Simon Laplace utvecklade senare invers sannolikhet och prediktion. I sin filosofiska essä beskrev han successionsregeln: efter n försök som alla gett framgång ger en likformig utgångsfördelning för en gemensam konstant chans sannolikheten (n + 1)/(n + 2) för nästa framgång. Hans berömda exempel gällde soluppgången efter en lång följd av dagar. Laplace påpekade själv att kunskap om astronomin gav starkare skäl än denna enkla räkning. Exemplet visar betydelsen av att använda relevant kunskap och en rimlig modell. (3, kapitel III, s. 18–19, engelsk översättning 1902).

William Sealy Gosset och små stickprov

William Sealy Gosset började arbeta vid Guinness bryggeri i Dublin 1899. Företaget hade rekryterat unga kemister och försökte göra bryggandet mer vetenskapligt. Frågor om kornsorter, odling, mältning och förvaring behövde avgöras med försök och mätningar. Ett forskningslaboratorium öppnades 1900, ett försöksmälteri 1901 och ett försöksbryggeri 1903. Statistikens uppgift var praktisk: att skilja användbara förbättringar från den variation som redan fanns mellan råvaror, odlingsplatser och tillfällen. (4, s. 46–48).

Försöken kunde ge stora skillnader som ändå var svåra att tolka. De tidiga kornförsöken omfattade fyra gårdar med en försöksruta av varje sort på varje gård. Gosset behövde bedöma medelvärden när både antalet observationer var litet och variationen måste uppskattas från samma material. Box framhåller att mycket stora försök kunde spridas så långt i tid eller rum att annan variation överskuggade behandlingseffekterna. Att bara rekommendera mycket fler observationer löste därför inte det omedelbara problemet. (4, s. 45 och 48–49).

I The Probable Error of a Mean från 1908 undersökte Gosset närmare vad osäkerheten bestod i. Stickprovets medelvärde varierar mellan tänkbara upprepningar. Samtidigt är stickprovets standardavvikelse en osäker uppskattning av populationens spridning. Om denna uppskattning behandlas som en känd konstant kan bedömningen bli alltför säker. Gosset sökte därför en fördelning och tabeller som tog hänsyn till att även spridningen skattades. Han antog en normalfördelad population och begränsade arbetet till osäkerheten från stickprovsdragningen. Antagandet om normalitet var uttryckligt, och texten diskuterade svårigheten att bedöma fördelningens form från få observationer. (5, s. 1–2).

Med dagens notation standardiseras medelvärdets avvikelse som t = (x̄ − μ₀)/(s/√n), där s är stickprovets standardavvikelse. För oberoende observationer från samma normalfördelning följer denna storhet en central t-fördelning med n − 1 frihetsgrader när den sanna medelnivån är μ₀, alltså under H₀: μ = μ₀. Dess tyngre svansar ger större kritiska värden än normalfördelningens när n är litet. Vid fem observationer är det tvåsidiga 95-procentsvärdet cirka 2,776, jämfört med normalfördelningens 1,960. Den extra osäkerheten gör alltså intervallet bredare. Gossets ursprungliga beteckningar och definition av stickprovsspridning skiljer sig från denna moderna notation.

Arbetet omfattade också en ovanlig empirisk kontroll. Gosset använde publicerade uppgifter om kroppslängd och vänster långfinger för 3 000 personer som i källan benämndes fångar eller brottslingar. Måtten skrevs på lika många kort som blandades. Han ordnade sedan observationerna i 750 stickprov om fyra och jämförde de erhållna fördelningarna med sin teori. Fördelningarna var bara ungefär normala, och de grovt grupperade måtten skapade ytterligare komplikationer som han redovisade. Kortdragningen illustrerar hur en matematisk metod kunde kontrolleras genom upprepade stickprov långt före dagens datorbaserade simulering. Samtidigt påminner försöket om att även en empirisk kontroll måste läsas med hänsyn till materialets begränsningar. (5, avsnitt VI, s. 13–14).

En av tillämpningarna var medicinsk. Gosset återgav publicerade sömnmätningar från tio patienter som fått två preparat. Han betonade att frågan om det ena preparatet var bättre än det andra krävde analys av skillnaden inom varje patient. Att bedöma vartdera preparatet separat ersatte inte den direkta jämförelsen. Gosset uttryckte resultatet som odds för att det ena preparatets medeleffekt var större. När vi läser Gossets sannolikhetsbeskrivning behöver vi hålla isär hans resonemang om en okänd storhet och dagens definition av p: sannolikheten för data under en prövad hypotes och modell. Gossets krav på en direkt jämförelse är också relevant när ett signifikant resultat ställs mot ett icke-signifikant. (5, avsnitt IX, s. 20–21).

Pseudonymen Student hade också en praktisk bakgrund. Enligt Box tillät Guinness publicering utan bryggarnas namn; beteckningarna Pupil eller Student kunde användas. Gosset valde den senare. Hans namn försvann från artikelns författarrad, medan pseudonymen blev en permanent del av statistikens terminologi. (4, s. 49).

Mötet med Fisher 1912 visar hur den praktiska statistikern och den matematiske teoretikern kunde komplettera varandra. Box återger Gossets brev till Karl Pearson den 12 september detta år. Efter en diskussion om standardavvikelsens nämnare skickade Fisher ett bevis med en representation i n dimensioner. Gosset skrev att han inte förstod resonemanget, tog med sig beviset på en resa till sjöarna för att studera det och tappade bort det. Fisher skickade därefter ett nytt bevis, som Box identifierar som beviset för Students fördelning och som Gosset föreslog att Pearson skulle publicera. Han uppskattade matematiken men medgav sin svårighet att tänka i fler än tre dimensioner. Det borttappade beviset och det senare fördelningsbeviset är skilda led i brevet. Förloppet återges i Gossets brev, med Box förklarande tillägg i hennes historiska framställning. (4, s. 50).

Fisher och femprocentsgränsen

Ronald Aylmer Fishers statistiska arbete växte fram i nära kontakt med genetiska och experimentella problem. Han började vid Rothamsted Experimental Station 1919 och fick tillgång till långa serier av jordbruksförsök. Där fanns variation mellan försöksrutor, år, väderförhållanden och behandlingar. Uppgiften var att avgöra vad experimenten faktiskt kunde säga om exempelvis gödsling och skörd. Metoder för att uppskatta och fördela variation behövde förenas med hur försöken planerades. (6, s. 92–93), (4, s. 51).

Enligt Box analyserade Fisher bland annat Broadbalk-försöket, där samma gödsling hade använts på samma rutor under 67 år. Hans tillämpade arbeten utvecklade samtidigt statistisk teori. Box beskriver en studie från 1923 om gödsling av potatis som innehöll en variansanalystabell och framhöll randomisering av behandlingarna som villkor för testets giltighet. Försöksplaneringen och analysen måste alltså hänga ihop. Att använda rätt formel räcker inte för en tillförlitlig beräkning. Vi behöver också beskriva variationens struktur och hur jämförelsen har skapats på ett rimligt sätt. (4, s. 51).

I Statistical Methods for Research Workers från 1925 samlade Fisher metoder för forskare som arbetade med sådana problem. I kapitel III beskriver han normalfördelningens svansar och att ungefär fem procent av värdena ligger mer än 1,96 standardavvikelser från mitten. Han anger detta som en praktisk gräns för bedömning av signifikans. Samma avsnitt uppmärksammar att små effekter kan undgå upptäckt när observationerna är för få. Femprocentsgränsen är alltså en konvention för den statistiska bedömningen. Den följer inte av någon generell biologisk gräns mellan effekt och avsaknad av effekt. (7, kapitel III, s. 46–48).

Fisher bidrog starkt till femprocentskonventionens spridning. Hans användning av standardnivåer innebar samtidigt inte ett genomgående försvar av automatiska slutsatser. Lehmanns jämförelse beskriver både tabellgränserna och Fishers senare kritik; skillnaden mellan evidens och förhandsbestämda regler behandlas i nästa historiska avsnitt. (8, s. 1244).

I de personliga skildringarna framträder en forskare med starka egenheter. Yates och Mather berättade att Fisher löste The Times korsord genom att endast fylla i bokstäverna där orden korsade varandra. De beskrev också hans häftiga temperament och benägenhet att vara kallt ohövlig, men samtidigt hans generositet mot vänner. E. B. Ford mindes ett besök i ett rum fyllt av Fishers piprök och hur den synsvage Fisher vid båtkollisioner lade ansvaret på andra. Skildringarna är personliga och publicerades efter hans död. De belyser hans miljö och uppträdande. (6, s. 95 och 97), (9).

Fisher var även engagerad i eugenik och deltog som student i bildandet av universitetets eugeniska sällskap i Cambridge. (4, s. 50–51). Engagemanget fortsatte efter studietiden. Yates och Mather beskriver hans eugeniska resonemang i The Genetical Theory of Natural Selection (1930), hans aktiva arbete under en period i Eugenics Society och uppsatsen Eugenics, academic and practical (1935). Hans arbete med mänsklig ärftlighet utvecklades i denna idéhistoriska miljö. (6, s. 93 och 117–118).

I rökningsdebatten blev hans auktoritet mer problematisk. I ett brev i Nature 1958 ifrågasatte Fisher slutsatsen att cigarettrökning orsakar lungcancer och framförde genetiska skillnader som en möjlig gemensam förklaring till rökvanor och cancer. Alternativa orsaksförklaringar behöver prövas, men en tänkbar förklaring visar inte att det observerade sambandet saknar en kausal komponent. Yates och Mather uppgav senare att han varit konsult åt tobaksföretag och kritiserade att han inte gått igenom den senare evidensen. De försvarade samtidigt hans motiv; deras bedömning är en biografisk tolkning. Källorna belägger hans offentliga invändningar och konsultarbete, men visar inte att han saboterade forskning. (10), (6, s. 106).

Fishers eugeniska engagemang och roll i rökningsdebatten är relevanta för bedömningen av hans vetenskapliga verksamhet. De statistiska metodernas giltighet behöver bedömas genom antaganden, bevis och tillämpning.

Fisher och Neyman–Pearson om evidens och felkontroll

Fisher, Jerzy Neyman och Egon Pearson utvecklade delvis olika synsätt på statistisk inferens. Hos Neyman och Pearson var frågan hur ett testförfarande skulle utformas för att fungera väl vid hypotetiska upprepningar. Det krävde både en nollhypotes och relevanta alternativ. Ett förfarande som sällan förkastar en sann nollhypotes kan ändå vara dåligt på att upptäcka verkliga effekter. Två egenskaper behöver därför bedömas samtidigt: kontrollen av falska positiva resultat och förmågan att upptäcka en specificerad avvikelse. (11, s. 145–149), (8, s. 1242–1244).

Med modern notation betecknas typ I-felrisken med α: sannolikheten att förkasta en sann nollhypotes. Typ II-felrisken β är sannolikheten att inte förkasta nollhypotesen vid en angiven sann alternativ effekt. Power, 1 − β, beskriver sannolikheten att då upptäcka effekten enligt testregeln. För en given stickprovsstorlek innebär en strängare gräns vanligen färre falska positiva resultat men också lägre power. En större studie kan förbättra denna avvägning. Det finns därför ingen universellt optimal signifikansnivå utan hänsyn till frågan, relevanta effekter och konsekvenserna av fel.

Här handlar det om hur metoden fungerar, vilket kan bedömas redan innan ett enskilt resultat finns. Varken α eller ett observerat p är sannolikheten att just fyndet är falskt. Skillnaden preciseras i p-värdets definition. Goda upprepningsegenskaper säkerställer inte heller att den faktiska studiens urval, mätningar och modell är välgrundade.

Neyman beskrev sitt synsätt som induktivt beteende: att välja regler vars frekvensegenskaper kunde studeras matematiskt. Han skilde detta från att tillskriva en okänd fast hypotes en sannolikhet efter data. Samma distinktion var viktig för konfidensintervallen. Före försöket är intervallets ändpunkter slumpmässiga, eftersom de ska beräknas från kommande observationer. Efter försöket är det observerade intervallet fixerat. Neyman betonade att den tidigare sannolikhetsutsagan om intervallets träffsäkerhet då inte ensam ger en sannolikhet för den fasta parametern inom dessa bestämda gränser. För en sådan sannolikhet efter observationerna krävdes enligt honom sannolikheter a priori. (11, s. 148–150).

I samma text tog han till ett ovanligt exempel: den tusende decimalen i talet π. Någon kan vara osäker på vilken siffra det är, men siffran är bestämd. I den frekventistiska modell som Neyman diskuterade var ovetskapen inte tillräcklig för att skapa en mellanliggande sannolikhet för att siffran var mindre än fem. Med exemplet visade han vilken sorts osäkerhet sannolikhetsbegreppet kunde beskriva i hans resonemang. Neyman tog själv upp Jeffreys teori om kunskapsbaserad sannolikhet och skrev att sannolikheten där kunde anta värden mellan noll och ett. π-exemplet avgör därför inte vilket språk som är mest användbart i klinisk forskning; det visar var de filosofiska utgångspunkterna skiljer sig. (11, s. 150–151).

Motsättningarna var också personliga. Neymans Silver Jubilee of My Dispute with Fisher från 1961 presenterade ett kvartssekels konflikt som ett jubileum. I inledningen daterade han Fishers första offentliga kritik till 1935 och beskrev senare angrepp som återkommande och nedsättande. Texten skrevs på inbjudan för att bemöta Fishers kritik. Den är en partsinlaga, och Neymans beskrivning av sin motståndare behöver läsas som sådan. Konflikten gällde flera frågor, bland annat hypotesprövning, konfidensintervall och Fishers fiducialargument, ett annat försök att formulera osäkerhet om parametrar. (11, s. 145–147).

Erich Lehmanns senare jämförelse nyanserar uppdelningen. Fisher bidrog till fasta tabellgränsers användning, men kritiserade också automatiskt förkastande på en standardnivå. Med Neyman–Pearsons teori gick det att jämföra olika testreglers felrisker och power på ett systematiskt sätt. Traditionerna överlappade därmed i praktiken och kan bidra med olika frågor till samma analys. Ett p-värde kan beskriva data under en hypotes samtidigt som en förhandsbestämd testregel har en viss felrisk. Problemet uppstår om vi växlar mellan dessa betydelser utan att märka det och sedan behandlar en regel för metoden som ett besked om vad som är biologiskt sant. (8).

I historiken har vi mött tre olika frågor: hur sannolika möjliga data är under en modell, vilka felrisker ett test har och hur osäkra vi är på en okänd effekt efter att ha sett data. Den statistiska genomgången börjar med p-värdet och följer därefter effektstorlek, intervall och Bayesiansk uppdatering. Skillnaderna illustreras med samma normalmodell.

P-värdets definition och antaganden

Ett konstruerat exempel med en skattad genomsnittlig förbättring på 2 enheter och ett känt standardfel på 1 enhet används för att illustrera definitionen. Positiva värden betecknar förbättring. Enheterna och relevansgränserna är valda för räkneexemplet.

Analysen bygger på en normalmodell där skattningen är normalfördelad kring den sanna medeleffekten. Standardfelet är känt och analysen bestämd i förväg. Den sanna medeleffekten betecknas δ. Nollhypotesen H₀ anger att δ = 0. Under H₀ varierar därför skattningen kring noll vid hypotetiska upprepningar av studien.

Skattningen ligger två standardfel över noll, vilket ger teststatistikan z = 2. I ett tvåsidigt test är p-värdet, givet H₀ och analysmodellen, sannolikheten för en teststatistika som ligger minst lika långt från noll i endera riktningen: z ≥ 2 eller z ≤ −2. De båda svansarnas sammanlagda area är cirka 0,0455, eller 4,55 procent.

Ett ensidigt test prövar en i förväg bestämd riktning. Vid alternativet positiv effekt är nollhypotesen δ ≤ 0 och referensfördelningen beräknas vid randvärdet δ = 0. Då räknas P(Z ≥ z), vilket vid observerat z = 2 ger cirka 0,0228. Vid z = −2 blir samma positiva ensidiga p cirka 0,9772. För en i förväg vald negativ riktning räknas i stället P(Z ≤ z). Riktningen får inte väljas efter resultatet för att få den mindre svansen.

Figur 1 börjar med p-värdet under H₀. Därefter visas två fördelningar: H₁ vid en antagen sann effekt ovanför H₀. Med samma z-skala kan du jämföra ett observerat resultat med en förhandsvald testregel.

Figur 1. P-värdet under nollreferensen. Kurvan visar teststatistikans referensfördelning vid effekt 0, under analysmodellen. Linjen markerar observerat z, mätt i standardfel. I tvåsidigt läge är de båda svansarnas sammanlagda area p; i ensidigt läge räknas svansen i den förvalda riktningen. Riktningen ska väljas före data. Fördelningen gäller hypotetiska studieresultat, inte patientvärden eller möjliga sanna effekter. I utvidgningen visar H₁-kurvan möjliga studieresultat vid en specificerad sann effekt, på samma skala som H₀.

P-värdet är betingat på H₀ och analysmodellens antaganden. Sannolikheten beräknas för möjliga data under dessa förutsättningar. Den anger inte sannolikheten att H₀ är sann efter observerade data, att fyndet ”beror på slumpen” eller att en ny studie får samma resultat. (12), (13, punkt 18).

Ett litet p-värde innebär att den observerade teststatistikan ligger i ett glest område av referensfördelningen. Detta kan vara förenligt med en medeleffekt skild från noll, men kan också uppkomma genom slumpvariation eller brott mot andra modellantaganden. Ett exempel är att upprepade prov från samma person behandlas som oberoende observationer. När vi bedömer resultatet behöver vi därför också granska urvalet, mätningarna, bortfallet och hur analysen har gjorts. (13).

P beräknas från det observerade resultatet, medan α, exempelvis 0,05, är en i förväg vald gräns för testförfarandet. Under en sann H₀ och förfarandets antaganden beskriver α typ I-felrisken, det vill säga risken att förkasta H₀. Detta beskriver hur testregeln fungerar vid upprepningar. Det talar inte om hur sannolikt det är att ett visst observerat fynd är falskt.

Utvidgningen av figur 1 skiljer dessa frågor åt. Välj Observerat resultat för att läsa av p under H₀. Välj Beslutsgräns för att se hur en i förväg bestämd testregel fungerar. För samma gräns är förkastningsarean under H₀ α. Under den antagna H₁-effekten är arean där H₀ inte förkastas β, och resten är styrkan, 1 − β. H₁-arean vid ett observerat z ska däremot inte läsas som β för en förhandsvald regel.

Pröva nu en tänkt studie före datainsamlingen. Anta för planeringen att den sanna effekten är 2,8 SE och sätt H₁:s centrum där. Välj tvåsidigt test med beslutsgränsen c ≈ 1,96. Då är α ungefär 5 procent, β ungefär 20 procent och styrkan ungefär 80 procent. Håll den antagna effekten fast och flytta gränsen utåt: falsklarmsrisken minskar, men även chansen att upptäcka den antagna effekten.

Flytta sedan H₁:s centrum medan gränsen ligger kvar. En större antagen sann effekt ger högre styrka, men ändrar inte α. Effekten är ett separat antagande, inte något som utläses ur det observerade z-värdet. Sambandet med studieupplägg och stickprovsstorlek utvecklas i poweravsnittet.

Effektstorlek och precision

I normaltestet bestäms p av den skattade effekten i relation till standardfelet:

z = skattad effekt / standardfel, när nollhypotesens effekt är noll.

Av effektskattningen ser vi hur stor effekten uppskattas vara, och standardfelet beskriver hur osäker skattningen är. P sammanfattar förhållandet mellan dem men visar dem inte var för sig. Tabellen visar två resultat med samma z och p men olika storlek och precision.

En förbättring på minst 1 enhet används som hypotetisk relevansgräns. Resultat A är förenligt med både mycket små och större förbättringar. Att intervallets övre gräns överstiger 1 visar inte att effekten överstiger denna gräns. Resultat B är mer precist och ligger långt under den valda relevansgränsen. Trots dessa skillnader är p-värdet och signifikansklassificeringen desamma. Relevansgränsen måste motiveras för det aktuella syftet och utgör inte i sig en behandlingsregel.

Figur 2. Samma p, olika storlek och precision. Två skattningar med tillhörande intervall visas på samma effektaxel. Noll och den hypotetiska relevansgränsen 1 markeras separat. Ett reglage kan krympa både effekten och standardfelet i samma proportion: p är oförändrat medan den praktiska tolkningen förändras.

Fler oberoende observationer förbättrar vanligen precisionen. I normalmodellen är standardfelet standardavvikelsen mellan observationsenheterna delad med kvadratroten ur deras antal. Hundra gånger fler observationer ger därför tio gånger mindre standardfel, förutsatt samma modell och variation. En mycket liten effekt kan därmed bli statistiskt signifikant i en stor studie.

Stora studier kan ge värdefull information om små effekter och bidra till att utesluta större effekter. Ett litet p ersätter emellertid inte bedömningen av klinisk relevans. Ökad stickprovsstorlek korrigerar inte heller systematiska mätfel; en skattning kan vara precis men systematiskt felaktig.

Signifikansgränser och dikotomisering

Att klassificera ett resultat som ”statistiskt signifikant” eller ”icke-signifikant” omvandlar ett numeriskt mått till två kategorier. Vid gränsen 0,05 får p = 0,049 och p = 0,051 olika etiketter, medan både 0,049 och 0,000001 hamnar i samma kategori. I samma test och modell kan de första två värdena motsvara mycket närliggande resultat; gränspassagen innebär ingen motsvarande plötslig förändring i effekt eller osäkerhet. P är självt ett numeriskt mått; användningen av tröskeln gör bedömningen binär. För diskreta utfall kan även de möjliga p-värdena ligga i steg.

Problemet uppstår när kategorierna får bära vetenskapliga slutsatser som testet inte stödjer: ”signifikant” blir liktydigt med verklig eller viktig effekt, och ”icke-signifikant” med frånvaro av effekt. En studie kan ha låg precision och lämna betydande effekter öppna trots ett stort p. En annan kan med hög precision påvisa en mycket liten skillnad från exakt noll. En sådan kategorisering utelämnar både effektstorlek och graden av osäkerhet. Amerikanska statistikförbundets (American Statistical Association, ASA) uttalande 2016 avråder från att grunda vetenskapliga slutsatser enbart på om p passerar en viss gräns. (12).

Ett signifikant resultat i en studie och ett icke-signifikant resultat i en annan visar inte i sig att effekterna skiljer sig. Frågan kräver analys av skillnaden och dess osäkerhet, exempelvis ett lämpligt interaktionstest. (14), (13).

En direkt jämförelse kan illustreras genom att resultat A ställs mot en oberoende syntetisk studie med en jämförbar skattad förbättring på 1,5 enheter och känt standardfel 1. De tvåsidiga testen mot noll ger p ≈ 0,0455 respektive 0,134, så att endast A understiger 0,05. Skillnaden mellan skattningarna är 0,5, dess standardfel cirka 1,41 och dess 95-procentiga konfidensintervall −2,27 till 3,27. Intervallet är förenligt med skillnader i båda riktningar och visar inte ekvivalens. Beräkningen förutsätter oberoende skattningar. Gemensamma personer eller en gemensam kontrollgrupp kräver att beroendet beaktas.

En förutbestämd tröskel kan däremot fylla en avgränsad funktion i ett testförfarande med specificerad typ I-felrisk. Vid beslut behöver studiens mål och konsekvenserna av felaktiga beslut också beaktas. Försvaret av sådana regler är förenligt med kritik av mekanisk vetenskaplig klassificering. Förbundets presidentutsedda arbetsgrupp 2021 försvarade korrekt använda test och framhöll att beslutströsklar behöver motiveras. (15).

Informationsförlusten kvarstår om samma uppdelning görs med konfidensintervall eller Bayesianska mått. Att bara kontrollera om ett intervall omfattar noll, eller om en posterior sannolikhet passerar 95 procent, kan åter skapa två etiketter som döljer variationen mellan resultaten. Effektstorlek, hela osäkerhetsbeskrivningen, annan evidens och kliniska konsekvenser behöver fortfarande bedömas. (16).

Konfidensintervall och upprepningstäckning

Ett konfidensintervall uttrycker skattningens osäkerhet i samma enhet som effekten. I normalmodellen beräknas intervallet som skattningen ± 1,96 standardfel. Punktestimatet och intervallet redovisar därmed både skattad storlek och precision.

Ett 95-procentigt konfidensförfarande har en angiven täckningsgrad vid hypotetiska upprepningar. Den sanna medeleffekten är fixerad, medan nya data ger nya intervall. Förfarandet är konstruerat så att 95 procent av intervallen täcker den sanna effekten när modellens antaganden gäller. Täckningen är alltså en egenskap hos metoden under upprepningar.

Efter en genomförd studie är det observerade intervallet bestämt. Konfidensförfarandet ensamt ger inte sannolikheten 95 procent för att den fasta effekten ligger i just detta intervall. Ett sådant sannolikhetspåstående kräver en annan inferentiell tolkning med egna antaganden, exempelvis en Bayesiansk posteriorfördelning. (17).

Figur 3. Konfidensförfarandets täckning. En fixerad sann effekt markeras med en lodrät linje. Simulerade studier ger nya intervall, och de som inte täcker effekten får en annan färg. Andelen täckande intervall i en ändlig serie behöver inte vara exakt 95 procent; täckningsgraden avser förfarandets sannolikhet under modellen. Ett valt intervalls gränser visas separat. Den sanna effekten är känd i simuleringen men okänd i en verklig studie. Under fördjupningen kan samma data visas som kredibilitetsintervall med prior N(0, 1²), en fördelning över effektvärden före dessa data; då redovisas även deras täckning vid den fixerade sanna effekten. Begreppen förklaras i Bayesavsnittet och täckningen i avsnittet om priorfördelningens betydelse.

Konfidensintervall ger i vanliga modeller mer information om precision och möjliga effektstorlekar än en signifikansklassificering. Ett intervall kan sammanställa de effektvärden som inte förkastas av motsvarande test på den valda nivån. Värden inom intervallet är dock inte lika förenliga med data enligt modellen: i normaltestet ger ett prövat effektvärde närmare skattningen ett större p. Ändpunkterna har ingen särskild biologisk betydelse. (13).

Ett snävt intervall kring noll kan ge starkt stöd mot stora effekter, medan ett brett intervall lämnar både stor förbättring och stor försämring öppna. Klassificeringen ”ingen signifikant skillnad” återger inte denna skillnad i precision.

Ekvivalens och noninferioritet

I klinisk forskning och laboratoriearbete är praktiskt försumbara skillnader ofta mer relevanta än exakt likhet. Ett ekvivalenstest undersöker om skillnaden ligger inom förutbestämda, motiverade toleranser. Ett stort p för testet mot exakt noll besvarar inte denna fråga. Skillnaden illustreras nedan med en studie av robotiserad blodprovtagning.

För en medelskillnad δ och symmetriska gränser −Δ och +Δ är ekvivalenstestets nollhypotes att δ ligger på eller utanför gränserna. TOST (two one-sided tests, två ensidiga test) prövar de båda gränserna. Vid α = 0,05 för vardera testet krävs att båda p-värdena understiger 0,05. Detta motsvarar, med en matchande intervallkonstruktion, att ett tvåsidigt 90-procentigt konfidensintervall ligger strikt innanför toleransen. Om skillnaden ligger på eller utanför gränserna är minst en komponentnollhypotes sann. Förkastande av båda innebär då att även den sanna komponentnollen förkastas, vilket håller risken för ett felaktigt ekvivalensanspråk högst 5 procent under testets antaganden. (18).

Figur 4 förhandsvisar även en Bayesiansk analys. Dess posterior är en fördelning över möjliga medelskillnader efter data, under angiven modell och prior. Priorfördelningen anger osäkerheten om medelskillnaden före dessa data. Sannolikheten för liten medelbias uttrycks som P(−Δ < δ < +Δ | data, modell, prior). Redovisa även posteriorn och känsligheten för prior och modell. En koncentrerad prior kring noll kan gynna ekvivalens genom stor sannolikhet för liten bias redan före data, trots att den är skeptisk mot stora effekter. Begreppen introduceras i Bayesavsnittet. (20).

Figur 4. Precision, ekvivalens och posterior sannolikhet. Den skattade medelskillnaden +1 U/L och toleransen ±5 U/L hålls fasta i syntetiska studier med olika precision. TOST kräver att det matchande 90-procentiga intervallet ligger strikt innanför gränserna. Den gröna arean är posterior sannolikhet för medelbias inom toleransen, under normalmodellen med känt SE och prior N(0, τ²); den jämförs med sannolikheten före data. Ingen posterior beslutströskel används. Figuren beskriver medelbias, inte spridningen mellan enskilda provpar.

Ekvivalens kan också förekomma tillsammans med en signifikant skillnad från exakt noll. Med den hypotetiska toleransen ±1 enhet får det tidigare resultat B ett 90-procentigt normalintervall på cirka 0,036–0,364 och uppfyller ekvivalenskriteriet. Resultat A får cirka 0,36–3,64 och uppfyller det inte. Båda har samma p för testet mot noll. Toleransen gäller här medeleffekten i det tidigare normalexemplet, inte enzymexemplets U/L.

Robotiserad blodprovtagning: vad visar jämförelsen?

I en studie av robotiserad blodprovtagning jämfördes laboratorieresultat från robotens och manuellt tagna prov hos samma patienter. I sammanfattningen (abstract) kopplade författarna frånvaro av statistiskt signifikanta skillnader till analytisk ekvivalens: ”indicating analytical equivalence”. (42, s. 845).

Författarna använde Passing–Bablok-regression. En skillnad räknades som signifikant om lutningens 95-procentiga konfidensintervall inte innehöll 1 eller interceptets inte innehöll 0. Dessa värden motsvarar frånvaro av proportionell respektive konstant bias i modellen. Att intervallen innehåller dem visar emellertid inte att möjliga avvikelser är tillräckligt små. (42, s. 848–849).

Studien använde parade prover och randomiserad provtagningsordning. Författarna jämförde också genomsnittlig bias med totalt tillåtet fel (Total Allowable Error, TEa) från EFLM:s databas för biologisk variation. Det ger ytterligare information om toleransen. Även osäkerheten i bias behöver dock jämföras med acceptansgränser som har motiverats. Min invändning gäller hur slutsatsen drogs. Den visar inte att de två provtagningssätten faktiskt ger analytiskt olika resultat. (42, s. 848–851).

Så kan analytisk ekvivalens undersökas

Precisera först om kravet gäller genomsnittlig systematisk skillnad eller överensstämmelse för enskilda patienter. Figur 4 modellerar en konstant medelskillnad; den analyserar inte regressionslutning eller koncentrationsberoende bias. För genomsnittlig bias kan följande arbetsgång användas.

1. Bestäm acceptansgränser före analysen. Motivera för varje analyt hur stor systematisk avvikelse som kan accepteras utifrån klinisk användning och relevanta koncentrationer. Gränserna kan anges i absoluta enheter eller procent. TEa är inte automatiskt en lämplig marginal för medelbias; hur stor del av totalfelet som får utgöras av systematisk avvikelse behöver motiveras.
2. Planera parade prover och precision. Täck det kliniskt relevanta koncentrationsområdet och kontrollera provtagningsordning och provhantering. Planera antalet provpar utifrån ekvivalensmarginal, förväntad bias, variation i de parade skillnaderna och önskad power. Ett visst minimiantal garanterar inte tillräcklig precision. (18).
3. Skatta bias och dess osäkerhet. Redovisa medelskillnaden med konfidensintervall. Om bias varierar med koncentrationen kan en lämplig regressionsmodell skatta bias vid fördefinierade kliniska beslutsnivåer. Intervallen behöver beakta osäkerheten i både lutning och intercept; separata test mot 1 respektive 0 ersätter inte detta. CLSI:s offentliga översikt av EP09 beskriver differensdiagram, regressionsmetoder och intervall för bias vid angivna koncentrationer. (44).
4. Pröva mot toleransen. För en definierad medelskillnad används ett lämpligt förfarande för parade data och den matchande TOST-regeln ovan. Om ekvivalenskriteriet inte uppfylls kan orsaken vara stor osäkerhet eller en relevant skillnad; ekvivalens är då inte fastställd. (18).

Analysplanen behöver också ange analyter, koncentrationsnivåer och hantering av flera prövningar och felrisker. Stöd vid utvalda nivåer visar inte ekvivalens i hela mätområdet. Görs omanalysen först när resultaten är kända behöver det framgå att den är en efterhandsanalys. Marginalerna får inte väljas för att passa det intervall man redan har fått. I robotstudien uteslöts provrör som inte var fyllda enligt tillverkarens rekommendationer. (42, s. 848). Slutsatsen gäller de prov som ingick i analysen; underfyllda provrör och övrigt bortfall behöver redovisas.

Överensstämmelse mellan enskilda resultat

Utbytbarhet för enskilda patienter kräver även bedömning av spridningen i de parade skillnaderna. Ett Bland–Altman-diagram visar skillnaderna mot provparens medelnivå och kan synliggöra bias och förändrad spridning. Överensstämmelsegränser (limits of agreement) beskriver spridningen i enskilda skillnader. Deras skattningsosäkerhet och modellantaganden behöver redovisas, och gränserna jämföras med toleranser för enskilda resultat. De ska skiljas från konfidensintervallet för medelskillnaden. (43).

En Bayesiansk bedömning av individuell överensstämmelse behöver en posteriorprediktiv fördelning: fördelningen för skillnaden i ett nytt provpar efter data, under angiven modell och prior. Medelbiasens posterior besvarar inte den frågan. (20).

Noninferioritet och marginalens betydelse

Noninferioritet avser att visa att en ny behandling inte är sämre än jämförelsen med mer än en tillåten marginal. Testet är ensidigt. När skillnaden definieras som ny minus jämförelse och positiva värden är bättre, ska skillnaden överstiga minus marginalen. Vid ensidig α = 0,025 behöver den nedre ensidiga 97,5-procentsgränsen ligga ovanför minus marginalen. I en matchande konstruktion är detta den nedre ändpunkten i ett tvåsidigt 95-procentigt intervall. Ekvivalensens 90-procentsregel kan alltså inte generellt överföras till noninferioritet. (19, avsnitt III A och III C).

Slutsatsen gäller den valda marginalen, inte identisk effekt. Marginalen behöver förankras i vad jämförelsebehandlingen tidigare visats åstadkomma. Prövningen måste också kunna upptäcka en relevant skillnad; bristande följsamhet eller dåliga mätningar kan annars ge skenbar likhet. (19, avsnitt III B–D). Vilken förlust som är acceptabel kräver ämneskunskap och kan inte bestämmas av statistiken ensam.

Bayesiansk inferens

P-värdet beskriver möjliga data under en specificerad hypotes och analysmodell. Bayesiansk inferens beskriver osäkerheten om effektvärden efter observerade data, givet en modell och priorfördelning. Därför passar den särskilt bra när vi vill veta hur sannolik en positiv, relevant eller praktiskt försumbar effekt är.

I Bayes och Prices bordsexperiment följde den likformiga priorn av konstruktionen. När tidigare information används i en modern analys behöver både priorn och observationsmodellen motiveras för det aktuella sakproblemet.

För att följa den Bayesianska analysen behöver vi tre begrepp:

• Priorfördelningen beskriver osäkerheten om effekten innan de aktuella data tillförs. Den kan bygga på tidigare studier, ämneskunskap eller en motiverad försiktighet inför stora effekter.
• Likelihooden beskriver hur väl olika effektvärden förklarar de observerade data enligt observationsmodellen. Data hålls fasta medan effektvärdet varierar. Likelihooden är inte i sig en sannolikhetsfördelning över effekten.
• Posteriorfördelningen beskriver den uppdaterade osäkerheten om effekten efter att prior och likelihood har kombinerats.

Bayes sats ger sambandet posterior ∝ likelihood × prior. Resultatet normaliseras så att posteriorns totala sannolikhet blir ett.

Priorfördelningens betydelse i ett normalexempel

Det syntetiska exemplet med skattad förbättring 2 enheter och känt standardfel 1 analyseras med samma normalmodell för data och två normalfördelade priorer, båda centrerade på noll.

Den första priorn har standardavvikelse 10 enheter. Den är bred i förhållande till datans standardfel och lägger liten vikt vid något enskilt effektvärde nära skattningen. Den andra priorn har standardavvikelse 1 enhet och är mer koncentrerad kring noll. Före data ger den mindre vikt åt stora effekter. Båda priorerna är valda för undervisning och ska inte tolkas som rekommenderade kliniska priorer för ett verkligt preparat.

Tabellens sannolikheter gäller givet angivna data, vald prior och modell. De är inte modelloberoende sannolikheter och avser inte sannolikheten att en enskild patient får nytta.

Med den breda priorn dominerar data. Med den mer koncentrerade priorn väger försiktigheten inför stora effekter lika tungt som data i denna normalmodell. Skattningen dras då mot noll, vilket brukar kallas shrinkage. En väl motiverad prior kan stabilisera en osäker skattning, medan en olämplig prior kan förskjuta den i fel riktning.

Fördjupning: precisionsviktning. Med observation X, känt standardfel SE och prior N(μ, τ²) blir posteriorns medelvärde (X/SE² + μ/τ²)/(1/SE² + 1/τ²) och varians 1/(1/SE² + 1/τ²). Vikterna bestäms alltså av inversa varianser. I tabellen är μ = 0 och SE = 1: prior SD 10 ger datavikt 100/101, medan SD 1 ger datavikt 1/2. Sambandet gäller denna normalmodell.

Figur 5. Priorfördelningens påverkan på posteriorn. Prior och posterior visas som fördelningar över den sanna medeleffekten. Likelihooden redovisas separat som relativ likelihood. Ändrad priorbredd uppdaterar posteriorfördelningen. En ändrad relevansgräns uppdaterar den posteriora sannolikheten P(δ > gränsen) utan att ändra posteriorn. Skattningen och standardfelet hålls fasta. Figuren skiljer mellan sannolikheten för en positiv effekt och sannolikheten för en effekt över en vald gräns.

Ett 95-procentigt kredibilitetsintervall innehåller 95 procent av posteriorns sannolikhet enligt angiven modell och prior. Denna tolkning följer inte av ett konfidensförfarande ensamt. Kredibilitetsintervall kan väljas på olika sätt; tabellen använder posteriorns 2,5- och 97,5-percentiler.

Bayesianska och frekventistiska intervall kan vara numeriskt närliggande. Den breda priorns intervall ligger nära konfidensintervallet 0,04–3,96. I normalmodellen med känt standardfel ger en formellt platt prior exakt samma intervall. När skattningen är positiv blir posteriorns sannolikhet för en negativ effekt då halva det tvåsidiga p-värdet. Den platta priorn är ett matematiskt gränsfall och inte ett universellt neutralt kunskapsläge. Sambandet behöver inte gälla i andra modeller eller med mer informativa priorer.

Fördjupning: posterior sannolikhet och upprepningstäckning

Posterior sannolikhet och upprepningstäckning är olika egenskaper. Med prior SD 1 innehåller varje centralt kredibilitetsintervall 95 procent posterior sannolikhet. Vid den fixerade sanna effekten 2 täcker detta förfarande dock effekten i cirka 78 procent av upprepade studier, och vid sann effekt 0 är täckningen cirka 99,4 procent. Genomsnittet över effekter från just den angivna priorn är 95 procent. Skillnaden illustreras i figur 3. Beräkningarna gäller den specificerade normalmodellen och kan inte generaliseras till alla Bayesianska intervall.

Priorval och modellkontroll

Priorfördelningen kan påverka slutsatsen och behöver därför motiveras och vara möjlig att granska.

Spiegelhalter, Freedman och Parmar beskriver flera underlag för priorval: tidigare randomiserade studier, annan relevant forskning och strukturerade bedömningar av kliniker. De betonar att tidigare och aktuella patienter inte automatiskt är utbytbara. Skillnader mellan studier kan motivera lägre vikt eller större osäkerhet för tidigare evidens. En tidigare effektskattning är därför inte utan vidare lämplig som stark prior för en ny studie. (20).

För att priorvalet ska gå att granska behöver vi redovisa vilken information vi har använt, varför den passar för frågan och hur andra rimliga priorer påverkar slutsatsen. Simulering av data från priorn före analysen kan användas för att undersöka om den ger rimliga effektstorlekar och observationer. Efter analysen behöver observationsmodellen kontrolleras mot data. (21).

Empiriska priorer kan även baseras på större studiesamlingar. Van Zwet, Schwab och Senn använde effekt- och standardfelsuppgifter från 23 551 randomiserade studier i Cochrane-databasen för att modellera signal i förhållande till brus och föreslå shrinkage. Analysen gäller dock denna databas, som även kan påverkas av selektiv publicering. För att använda en sådan prior i en ny studie behöver vi bedöma hur väl den tidigare studiesamlingen och modellantagandena passar den nya frågan. (22).

EOLIA som kliniskt exempel

EOLIA-studien från 2018 jämförde en strategi med tidig ECMO, en avancerad metod för syresättning utanför kroppen, med initial konventionell behandling där ECMO kunde användas som räddningsbehandling vid svår akut lungsvikt. Jämförelsen avsåg två behandlingsstrategier och inte ECMO mot fullständig frånvaro av ECMO.

Studien planerades för att upptäcka en minskning av 60-dagarsmortaliteten från 60 till 40 procent: 20 procentenheter eller omkring en tredjedel relativ minskning. Designen hade 80 procent power för den antagna effekten och högst 331 deltagare. Rekryteringen stoppades enligt den planerade sekventiella regeln när den fjärde interimsanalysen efter 240 inkluderade patienter passerade den nedre stoppgränsen. Stoppet gällde förväntad avsaknad av en statistiskt signifikant skillnad enligt designen, inte bevis för att den kliniska effekten var noll. Totalt ingick 249 patienter i analysen.

Inom 60 dagar dog 44 av 124 patienter i ECMO-gruppen och 57 av 125 i kontrollgruppen. Studien rapporterade relativ risk 0,76, 95 % konfidensintervall 0,55–1,04 och p = 0,09. Dessa rapporterade mått var korrigerade för studiens sekventiella triangulära test. Kvoten av de två råa dödsandelarna är cirka 0,78. (23).

Resultatet uppfyllde inte studiens signifikanskriterium. Detta visade inte frånvaro av klinisk effekt.

Goligher och medarbetare gjorde en Bayesiansk omanalys. Med en binomialmodell för dödsfallen och deras mycket breda prior för logaritmen av relativ risk blev posteriorns median cirka 0,78, med ett 95-procentigt kredibilitetsintervall på 0,56–1,04. Den beräknade sannolikheten för lägre mortalitet, RR < 1, var 96 procent. Sannolikheten för en stor relativ mortalitetsminskning, RR < 0,67, var däremot 18 procent. Att 96 procent av posteriorn ligger under RR 1 är förenligt med att ett centralt 95-procentigt intervall ändå innehåller 1: dess övre gräns är den 97,5:e percentilen. Den senare effektgränsen, RR 0,67, motsvarar den planerade relativa förbättringen. Den motsvarar inte 20 procentenheters minskning vid varje basrisk.

Författarna prövade flera priorer, både skeptiska, entusiastiska och baserade på tidigare studier med olika nedviktning. Över deras undersökta modellval varierade P(RR < 1) mellan 88 och 99 procent, medan P(RR < 0,67) varierade mellan 0 och 48 procent, med procenttalen avrundade som i artikeln. Den stora effekten var alltså betydligt känsligare för priorvalet än riktningen. En prior från tidigare studier gav median RR 0,71 och 48 procent för RR < 0,67; den starkt skeptiska priorn gav median RR 0,88. (24, korrigerad version 2019).

Uttrycket 1 − 0,09/2 = 95,5 procent ligger nära den rapporterade posteriora sannolikheten 96 procent. Det är dock ingen exakt omräkning: p avser det sekventiellt korrigerade testet, medan omanalysen använder råa dödstal, en annan modell och en prior. Även skillnaden mellan RR 0,76 och cirka 0,78 hänger ihop med att analyserna gjordes på olika sätt. Det som omanalysen framför allt ger är uttryckliga sannolikheter för en större effekt och en bedömning av hur känsligt resultatet är för priorvalet. Den var inte planerad före resultatet, och flera författare deltog även i ursprungsstudien. Dessa omständigheter är relevanta för bedömningen av omanalysen men visar inte i sig att beräkningarna är felaktiga. Sekventiell försöksplan och likelihood behandlas även i avsnittet om stoppregler.

Sannolikheten 96 procent beskriver alltså posteriorn under den angivna modellen och priorn. Den är inte ett p-värde.

Kliniska beslut kräver även en bedömning av nytta, komplikationer och resurser. Att 28 procent av kontrollgruppen fick ECMO som räddningsbehandling är relevant för tolkningen av strategijämförelsen. Posteriorn anger inte sannolikheten att ECMO är rätt val för varje patient.

Punktnollhypoteser och Bayesfaktorer

En kontinuerlig prior över effektstorleken ger normalt sannolikhet noll åt varje exakt enskilt värde, även exakt noll. Detta innebär inte att effekten är kliniskt viktig. Praktisk frånvaro av effekt kan i stället undersökas genom ett motiverat litet område, exempelvis −1 till +1 i det syntetiska exemplet.

En Bayesfaktor kan användas för att jämföra en särskild modell med exakt nolleffekt med en modell som tillåter olika effektstorlekar. Den jämför hur modellerna förutsäger observerade data. Alternativmodellens prior över effektstorleken påverkar resultatet. Posteriorodds är produkten av Bayesfaktorn och priorodds och anger förhållandet mellan modellernas sannolikheter efter data. En Bayesfaktor på 3 till förmån för alternativmodellen ger posteriorodds 3:1 om priorodds är 1:1, men 1:3 om priorodds är 1:9. Alla odds anges här i ordningen alternativmodell:nollmodell.

Dennis Lindley visade 1957 att ett p-värde som hålls på samma nivå när stickprovet växer kan åtföljas av allt starkare Bayesianskt stöd för en punktnollhypotes, med bestämd priorvikt på den och fixerad priorbredd under alternativet. Detta brukar kallas Jeffreys–Lindleys paradox. Det är ingen logisk motsägelse: frågorna och modellerna skiljer sig. (25).

Det finns ingen generell omräkning från ett ensamt p-värde till sannolikheten att en hypotes är falsk. Påståendet att ”p = 0,05 egentligen betyder en viss procent risk att fyndet är falskt” behöver därför preciseras med alla modellvillkor. En kontinuerlig effektposterior och en posterior för en särskild punktnollhypotes är olika analyser. Ett separat räkneexempel om andelen falska fynd finns i poweravsnittet.

Power och dimensionering av studier

Power, eller statistisk styrka, är sannolikheten att det valda testförfarandet förkastar H₀ när en specificerad effekt verkligen gäller, givet planerad design och övriga antaganden. Ett test med otillräcklig power kan missa en befintlig effekt.

Förhandsplanering och precision

I det syntetiska exemplet analyseras medelförändringen hos oberoende personer. Förändringarna antas vara normalfördelade med känd standardavvikelse 10 enheter. Hundra personer ger standardfel 10/√100 = 1. Ett tvåsidigt test mot noll på nivån α = 0,05 förkastar H₀ när den skattade förändringen ligger utanför cirka −1,96 till +1,96.

Vid sann medelförändring 2 enheter är skattningarna fördelade kring 2. Ungefär 51,6 procent ligger i förkastningsområdet, vilket ger power cirka 52 procent. Minst 197 oberoende personer krävs för 80 procent power för effekten 2, under samma antaganden om variation och test.

Du kan se samma geometri i figur 1, i delen En linje, två fördelningar. Välj Beslutsgräns, tvåsidigt test, c ≈ 1,96 och H₁:s centrum vid 2 SE. Om den antagna effekten gäller motsvarar förkastningsarean styrkan på cirka 52 procent; de återstående cirka 48 procenten är β. H₁:s centrum anger här ett antagande om den sanna effekten, inte studiens observerade resultat.

Figur 6. Nollfördelning och power. Nollfördelningen visar möjliga skattningar vid effekt 0. Alternativfördelningen visar möjliga skattningar vid den antagna sanna effekten. Samma fasta kritiska områden gäller för båda fördelningarna. Deras area under nollfördelningen är α, och under alternativfördelningen är den power. Reglagen ändrar antagen effekt, antal personer och α. Vid effekt 0 är förkastningssannolikheten α och inget typ II-fel definieras.

I verkliga studier behöver variation ofta skattas. Binära eller tidsberoende utfall, bortfall, grupper, kluster och interimanalyser kan kräva andra designberäkningar. Antalet 197 gäller därför endast undervisningsmodellen och är ingen allmän klinisk stickprovsregel. En giltig beräkning gör inte heller en observerad medelförändring till en kausal behandlingseffekt.

Power 80 procent innebär inte 80 procents sannolikhet att studien bevisar en behandlingseffekt. När studiens storlek planeras utgår beräkningen från en antagen effekt, vars verkliga storlek ännu är okänd. En studie med 80 procent power vid en stor effekt kan ha låg power vid en mindre. En powerkurva över flera möjliga effekter visar denna känslighet. Planeringen behöver även beakta önskad precision i effektens egen enhet.

Assurance

En Bayesiansk design kan väga samman osäkerheten om effekten genom en designprior. Assurance är då ett genomsnitt av sannolikheten att nå ett specificerat framgångskriterium över den osäkerheten. Det behöver inte vara ett Bayesianskt kriterium: assurance kan också beräknas för ett frekventistiskt test. Det är en prognos före data för att den valda regeln kommer att passeras. Om kriteriet är p < α betyder framgång just ett statistiskt förkastande, vilket även kan inträffa när H₀ är sann. Designpriorn och priorn som används i den slutliga analysen behöver inte vara samma. (26).

Observerad power och externa effektantaganden

Observerad power beräknas efter studien genom att den observerade effekten sätts in som om den vore sann. I vanliga test är den i huvudsak en omräkning av samma information som p-värdet och tillför därför vanligen lite till tolkningen. En efterhandsanalys av designen med externa, motiverade effektantaganden kan däremot vara informativ. Den kan belysa risken för överdriven effektstorlek eller fel tecken bland utvalda signifikanta fynd. Detta skiljer sig från en powerberäkning som bygger på den observerade effekten själv. (27), (28).

Power och falska fynd i ett hypotetiskt forskningsfält

Sambandet mellan power och andelen falska fynd kan illustreras med ett hypotetiskt fält med 1 000 studier. Alla analyser antas vara förutbestämda och giltiga. I 900 studier är H₀ sann; i 100 finns en effekt. Vid α = 0,05 är det förväntade antalet falska förkastanden bland 900 studier 45. Vid 80 procent power för de befintliga effekterna är det förväntade antalet förkastanden bland 100 studier 80. Modellens andel sanna nollhypoteser bland resultat som passerar gränsen blir 45/(45+80) = 36 procent. Antagandena och talen är valda för illustration; 36 procent är ingen uppmätt andel i medicinsk forskning. Sådana modeller behandlas av Ioannidis. (29).

Precis som ett diagnostiskt tests positiva prediktiva värde beror på sjukdomens förekomst, beror denna andel på förekomsten av verkliga effekter bland de testade hypoteserna. Den avser hela klassen p < 0,05 i den angivna modellen. Ett bestämt p, exempelvis 0,049 eller 0,000001, innehåller mer information. Andelen kan därför inte automatiskt användas som falskfyndsrisk för en viss verklig studie. Goodman och Greenland kritiserade informationsförlusten vid komprimering till en signifikansklassificering samt antaganden i Ioannidis modell. Debatten avser modellbaserad inferens och inte en uppmätt global andel falsk forskning. (30).

Multipla analyser och selektiv rapportering

En analys som bestäms i förväg har andra förutsättningar än en som väljs efter att forskaren har jämfört möjliga utfall, subgrupper, transformationer eller sätt att hantera bortfall. Om bara analysen som passerar en gräns rapporteras kan stödet för slutsatsen se starkare ut än det är när vi tar hänsyn till allt som har prövats.

Beatles och skenbar föryngring

I en metoddemonstration publicerad 2011 använde Simmons, Nelson och Simonsohn verkliga deltagare. En selektiv rapport redovisade 20 studenter som hade lyssnat på When I’m Sixty-Four eller Kalimba. Åldern beräknades från uppgivet födelsedatum. Efter justering för faderns ålder var gruppmedelvärdena 20,1 respektive 21,5 år, med p = 0,040. Musik tycktes därmed göra deltagarna 1,4 år yngre. Studien mätte varken livslängd eller biologisk föryngring.

Författarna avslöjade sedan hela upplägget: 34 deltagare, en tredje musikgrupp som utelämnats, flera insamlade variabler och återkommande analyser utan förbestämd stoppregel. Utan justering för faderns ålder var p = 0,33. Demonstrationen visade hur dolda analysval kunde stödja en omöjlig kausal slutsats. Den var avsiktligt konstruerad för att synliggöra problemet. (31, studie 2 och tabell 3).

Efterhandsval av hypotes och analys

HARKing (Hypothesizing After the Results are Known) innebär att en hypotes som har formulerats eller påverkats av resultaten presenteras som om den hade föregått dem. Problemet är inte att observerade data väcker en ny idé, utan att samma data framställs som en oberoende bekräftelse av idén. En ny hypotes kan prövas med nya data eller med ett förfarande som uttryckligen hanterar selektionen. (32).

Beatles-demonstrationen illustrerar framför allt flexibel analys och selektiv rapportering. Det närliggande begreppet p-hacking avser analys- eller datainsamlingsval som söker ett önskat p-värde. Ett beräknat p kan vara korrekt för ett angivet enskilt test samtidigt som testet inte beskriver den process genom vilken resultatet valdes. Några konkreta möjligheter i en hypotetisk klinisk studie är:

• Välja utfall: analysera smärta, funktion och flera laboratorievärden men bara lyfta fram det utfall som gav lägst p.
• Välja subgrupp eller tidpunkt: prova åldersgrupper, kön och flera uppföljningar tills en gynnsam jämförelse framträder.
• Ändra urval: inkludera eller exkludera avvikande observationer med kriterier som väljs utifrån resultatet.
• Välja modell: prova transformationer, kovariater och modellvarianter men bara rapportera den mest gynnsamma.
• Ändra testets riktning: byta till ett ensidigt test i den observerade riktningen efter att ett tvåsidigt test inte passerat gränsen.
• Ändra stoppregeln: lägga till deltagare och upprepa ett vanligt test för fast stickprov tills p < 0,05 uppnås.

Varje enskilt val kan ha en saklig motivering i en lämplig analysplan. Selektionsproblemet uppstår när resultatstyrda val och alternativa analyser döljs. Utforskande analys är en legitim del av forskning och behöver redovisas som sådan, med osäkerhet som tar hänsyn till hur fyndet uppkom. HARKing och p-hacking ska skiljas från datafabricering; missvisande selektion kan även uppstå utan medveten avsikt att vilseleda.

Vid 20 oberoende test på nivån α = 0,05, där alla nollhypoteser är sanna, är sannolikheten för minst ett falskt positivt resultat:

1 − 0,95²⁰ ≈ 64 procent.

Detta är risken för minst ett falskt positivt resultat i hela samlingen, inte sannolikheten att ett visst observerat p är falskt. Oberoende och sanna nollhypoteser är uttryckliga antaganden i just denna beräkning.

Alex Reinharts Statistics Done Wrong (33) beskriver flera exempel på upprepade analyser, selektion och överdriven säkerhet. I en demonstration placerades en död Atlantlax i en fMRI-skanner under presentation av sociala bilder. En okorrigerad analys av många bildpunkter gav till synes signifikant aktivering. Efter kontroll av multipliciteten återstod inga signifikanta fynd i demonstrationen. Exemplet illustrerar felrisken vid multipla analyser. (34).

Figur 7. Multipla test under sanna nollhypoteser. Samtliga 20 test redovisas, även de som inte passerar gränsen. Nya samlingar visar variationen i hur ofta minst ett test passerar när alla nollhypoteser är sanna. Den beräknade familjerisken 64 procent skiljs från den observerade andelen i ett ändligt antal simuleringar. Ett förvalt enskilt p kan jämföras med samlingens minsta p. En streckad kant markerar p < 0,05 även i gråskala. Test 1 har en separat blå ram.

Bonferroni och metoder som kontrollerar falsk upptäcktsandel avser olika felrisker vid multipla test. Deras tillämpning förutsätter att analysfamiljen är känd och metodernas villkor uppfyllda. En rapport som endast redovisar utvalda resultat räcker inte för att rekonstruera forskarens samtliga analysmöjligheter.

Även Bayesianska analyser kan rapporteras selektivt. Upprepad prövning av priorer och modeller tills en önskad posteriortröskel passeras löser inte selektionsproblemet. Hierarkiska modeller kan hantera relaterade effekter genom gemensam modellering och shrinkage, men oredovisade analyser och studier kan vara svåra att inkludera i modellen.

Stoppregler och sekventiell inferens

Upprepad beräkning av ett vanligt p-värde för ett test med fast stickprovsstorlek, med stopp vid första p < 0,05, innebär ett förändrat testförfarande. Den ursprungliga femprocentsgarantin gäller inte automatiskt för detta förfarande.

Stoppregeln påverkar vilka möjliga resultat som ingår i referensfördelningen. Ett syntetiskt exempel, inspirerat av Reinharts bok, jämför två i förväg bestämda försöksplaner med 50 procents träffsäkerhet under H₀. Vid tolv i förväg bestämda försök ger minst nio rätt ett ensidigt p på cirka 0,0730. Vid förhandsbestämt stopp efter tredje felet är sannolikheten för minst nio rätt före stoppet cirka 0,0327. Nio rätt och tre fel kan därmed ge olika p när möjliga utfall definieras av olika planer. Resultaten är egna exakta beräkningar. Stopp efter tredje felet är en annan regel än stopp när ett vanligt p för fast stickprovsstorlek först understiger 0,05.

För observationen nio rätt och tre fel är likelihoodens beroende av träffsannolikheten samma i dessa två planer, upp till en faktor som inte beror på den okända sannolikheten. Med samma prior ger en Bayesiansk uppdatering därför samma posterior när stoppregeln kan ignoreras i likelihooden. Exemplet visar alltså att slutsatserna beräknas med olika förutsättningar om vad som hålls givet.

Likhet i posteriorer i detta exempel innebär ingen generell garanti för Bayesianska stoppbeslut. Priorer, observationsmodell och stoppmekanism har betydelse. Hur stora felrisker hela beslutssystemet har vid olika fasta sanna effekter behöver dessutom undersökas för sig. Frekventistiska sekventiella metoder och moderna förfaranden kan medge fortlöpande avläsning med uttryckliga garantier. EOLIA använde en planerad sekventiell metod. (35), (36, författarpreprint).

Metoddebatten om evidens och felkontroll

Kritiken mot mekaniska gränser har lett till flera reformförslag. Benjamin och medarbetare ville sänka standardgränsen för anspråk på nya upptäckter från 0,05 till 0,005. Deras motivering innefattar modellbaserade jämförelser av evidens och andelen falska fynd, där alternativhypotesens prior, andelen sanna nollhypoteser och power påverkar svaret. Förslaget avser en bestämd situation, inte alla studier eller en universell regel för varje medicinskt beslut. Lakens och medarbetare invände mot en ny gemensam gräns och ville i stället att forskare öppet motiverar sitt val av α och designens avvägningar. De föreslog också att sluta använda benämningen ”statistiskt signifikant”. (37), (38). Ett hypotetiskt exempel på hur power och andelen sanna nollhypoteser påverkar falska fynd finns i poweravsnittet.

McShane och medarbetare föreslog att överge ”statistiskt signifikant” som allmän vetenskaplig kategori och bedöma p kontinuerligt tillsammans med effektstorlek, annan evidens och sammanhang. De ville inte förbjuda beräkning av p. (16).

Mayo och Hand försvarar test och felkontroll genom att betona metodens möjlighet att avslöja felaktiga påståenden. Ett resultat som stämmer med förväntningarna ger svag evidens om studien hade liten möjlighet att påvisa en avvikelse. Perspektivet gäller hur hårt ett påstående har prövats och motsätter sig att alla vetenskapliga frågor måste uttryckas som posterior sannolikhet. Även Bayesianska modeller behöver kritiska kontroller. (39).

Amerikanska statistikförbundets uttalande 2016 kritiserade flera vanliga övertolkningar av p-värden. En redaktionell text 2019 argumenterade för en utveckling bortom ”p < 0,05”. Förbundets presidentutsedda arbetsgrupp 2021 klargjorde att redaktionstexten kunde misstolkas som officiell policy och försvarade korrekt använda test och p-värden. När vi läser dessa texter behöver vi därför hålla reda på vilka som är officiella uttalanden och vilka som har en annan ställning. (12), (40), (15).

Parallell rapportering som övergångsstrategi

En möjlig övergångsstrategi är att komplettera etablerad frekventistisk rapportering med en förhandsplanerad Bayesiansk analys av samma centrala effekter. Effektskattning, konfidensintervall och p redovisas då tillsammans med posteriorfördelning, kredibilitetsintervall och sannolikheter för definierade effektstorlekar. Syftet är att göra kliniskt relevanta sannolikhetsfrågor tillgängliga. Det här är mitt metodförslag i artikeln. Jag har inte visat att det förbättrar patientutfall eller förhindrar feltolkningar.

Gates och Ealing granskade abstracts från 94 randomiserade studier med 120 behandlingsjämförelser som inte hade visat signifikant skillnad. För 65 jämförelser formulerades slutsatsen som frånvaro av behandlingsnytta. Undersökningen omfattade fyra stora medicinska tidskrifter 2016–2017 och författarnas egen klassificering. Den mätte inte effekten av Bayesiansk rapportering. (41).

Ett alternativ är bättre frekventistisk rapportering: tydligare språk, effektstorlekar, intervall och slutsatser som återger osäkerheten. Gates och Ealing föreslår detta och beskriver byte till Bayesianska metoder som en mer genomgripande förändring. Studien visar ett rapporteringsproblem, men avgör inte om parallella analyser är den bästa lösningen. Bayesianska sannolikheter motiveras här av de ytterligare frågor de kan besvara. (41, diskussion och tabell 2).

En arbetsgång för planering och rapportering

1. Planera före data. Definiera utfall, population, tidpunkt, jämförelse och effektens riktning. Ange primär analys, relevansgränser och eventuell beslutsregel för ett konfirmerande anspråk, inklusive α eller posteriortröskel. Motivera priorn med information som inte återanvänder aktuella observationer, och välj känslighetsanalyser i förväg. En konfirmerande regel får inte införas eller ändras efter resultaten för att medge anspråket. (20), (21).
2. Analysera samma fråga och data. Låt båda analyserna avse samma centrala effekt. Använd samma observationsmodell när syftet är att isolera priorns betydelse; redovisa andra modell- eller databehandlingsskillnader. Två analyser av samma data utgör inte oberoende bekräftelser.
3. Kontrollera prior och modell. Bedöm priorns tillåtna effekter och vilka observationer prior och modell tillsammans förutsäger. Kontrollera modellen mot data och genomför de planerade känslighetsanalyserna. Se priorval och modellkontroll.
4. Rapportera komplett. Redovisa primäranalysen först, följd av kompletterande resultat och känslighetsanalys, även när de är ogynnsamma. Ange skattning, konfidensintervall och p samt posterior, kredibilitetsintervall, sannolikheter för de valda effektgränserna och priorns vikt.
5. Förklara avvikande besked. Ange vad som skiljer inferensfrågor, priorinformation eller modeller. En skillnad som påverkar slutsatsen hör även hemma i sammanfattningen. Omanalyser efter kända resultat ska märkas som efterhandsanalyser, också i sammanfattning och slutsatser. De får inte framställas som konfirmerande svar eller ändra vilket anspråk primärregeln medger.

Att planera och redovisa analyserna på det här sättet ingår i mitt förslag. Det är inget som följer automatiskt av Bayes sats.

Ett syntetiskt kliniskt undervisningsfall

Anta en hypotetisk randomiserad studie av vuxna där utfallet är sänkning av systoliskt blodtryck efter tolv veckor. Effekten δ är behandlingsgruppens genomsnittliga sänkning minus kontrollgruppens; positiva värden betyder större sänkning med behandlingen. Skattningen är 2 mmHg med känt SE = 1 mmHg: X | δ ∼ N(δ, 1²). Normalantagandet gäller skattningen, inte enskilda patienters blodtryck. Detta är den tidigare undervisningsmodellen med en konkret enhet, inte en fullständig analysmodell för en blodtrycksstudie.

Relevansgränsen 1 mmHg och priorerna N(0, 10²) och N(0, 1²) är undervisningsval, inte kliniska rekommendationer. Priorerna lägger cirka 95 procent av sin sannolikhet inom ±19,6 respektive ±1,96 mmHg. Detta är parameterintervall, inte priorprediktiva intervall för observerade skattningar. I en verklig studie behöver relevansgräns och prior motiveras före analysen.

I detta fall är det tvåsidiga z-testet av δ = 0 med α = 0,05 förhandsbestämt som primär analys och de Bayesianska frågorna som kompletterande. Detta är ett val för undervisningsfallet, inte en regel om att frekventistisk analys alltid ska vara primär. Samma data kan rapporteras så här:

• Frekventistiskt: skattad ytterligare blodtryckssänkning 2 mmHg, känt SE 1 mmHg, tvåsidigt p ≈ 0,0455 och 95 % konfidensintervall 0,04–3,96 mmHg.
• Bayesianskt med bred prior N(0, 10²): posterior medeleffekt 1,98 mmHg, 95 % kredibilitetsintervall 0,03–3,93 mmHg, sannolikhet att δ överstiger 1 mmHg cirka 83,8 % och att δ överstiger 0 mmHg cirka 97,7 %, givet modellen och priorn.
• Känslighetsanalys med prior N(0, 1²): posterior medeleffekt 1,00 mmHg, 95 % kredibilitetsintervall −0,39–2,39 mmHg, sannolikhet att δ överstiger 1 mmHg exakt 50 % och att δ överstiger 0 mmHg cirka 92,1 %. Priorn och data väger här lika tungt i posteriorns medelvärde.

Priorns vikt beror på datans precision och effektenheten. I det tidigare fristående exemplet B, med skattning 0,2 och känt SE 0,1, får prior N(0, 1²) bara cirka 1 procents vikt i posteriorns medelvärde, jämfört med 50 procent när SE = 1. Sannolikheten för effekt över den hypotetiska gränsen 1 är där ytterst liten, trots samma p som för resultat A.

Figur 8. Parallell rapportering i normalmodellen. Båda rapporterna använder samma data. Den gröna arean visar vald posterior sannolikhet: över 0, över relevansgränsen eller inom det centrala 95-procentiga kredibilitetsintervallet, givet modell och normalprior. Färgerna skiljer storheter och anger inte behandlingsbeslut. Räknaren gäller medeleffekt med känt SE, inte enskild patientnytta.

Räknaren gäller en normalfördelad skattning med känt SE och en proper normalprior, vars totala sannolikhet är ett. Skattat SE och andra utfall kräver en lämplig modell även för den osäkerheten. Riskkvoter, överlevnadsdata, korrelation, bortfall och systematiska fel kan inte hanteras genom att godtyckligt mata in ett standardfel. Verkliga analysplaner måste också hantera försöksdesign, multiplicitet och interimsanalyser.

Om ytterligare ett posteriorbaserat kriterium kan leda till ett positivt anspråk eller stoppa studien behöver hela beslutsförfarandets egenskaper bedömas. Z-testets nominella α beskriver då inte automatiskt den nya proceduren. I samma normalmodell med känt SE och formellt platt prior gäller vid en positiv skattning att P(δ > 0 | data) > 95 % motsvarar tvåsidigt p < 0,10. Det är en annan regel än p < 0,05. En bred proper prior kan ge en approximation; sambandet gäller inte godtyckliga priorer eller modeller.

Klinisk tolkning och metodval

Klinisk tolkning utgår från vilken effekt som skattas: utfall, tidpunkt, population och jämförelse. Skattning och osäkerhet behöver redovisas i en meningsfull enhet. För relativa mått krävs även basrisk för bedömning av absoluta konsekvenser.

Att byta sätt att dra statistiska slutsatser rättar inte till brister i studieupplägget eller problem med selektiv rapportering. Tolkningen behöver även beakta hur resultatet valts, inklusive planerad analys, alternativa utfall och subgrupper samt hantering av bortfall och stoppning. Vid Bayesiansk analys tillkommer bedömning av priorns motivering, känslighetsanalys och modellkontroller.

En posterior för medeleffekten är inte en fördelning för en ny patients utfall. En prediktion för en ny studie måste också ta hänsyn till skillnader mellan studier. Ingen av dessa storheter ger på egen hand en rekommendation att behandla. Sådana beslut behöver väga förbättringens storlek mot skador, kostnader och vilka andra alternativ som finns.

Bayesiansk skattning är särskilt relevant för sannolikhetsutsagor om effektens storlek och relevans efter data, när tidigare kunskap kan användas öppet och försvarbart. P-värdet beskriver en mer avgränsad egenskap hos data under en testhypotes och analysmodell. Frekventistisk felkontroll besvarar frågan om riskerna vid upprepad användning av ett planerat förfarande. Vi behöver alltså välja metod efter den fråga vi vill besvara och låta både effektstorleken, osäkerheten och antagandena framgå av slutsatsen.

Referenser

Referenserna är numrerade för hänvisning i texten. Sid- och avsnittshänvisningar i löptexten avser den lästa versionen. Historiska transkriptioner, översättningar och författarpreprint är markerade nedan.

1. Arbuthnot J. An argument for divine providence, taken from the constant regularity observ'd in the births of both sexes. Philosophical Transactions of the Royal Society of London. 1710;27(328):186–190. DOI. Originaltabell i faksimil.

2. Bayes T; kommunicerad av Price R. An essay towards solving a problem in the doctrine of chances. Philosophical Transactions of the Royal Society of London. 1763;53:370–418. Transkription. Modern matematisk transkription; inte jämförd med tryckfaksimilet.

3. Laplace PS. A Philosophical Essay on Probabilities. Truscott FW, Emory FL, översättare. New York: John Wiley & Sons; 1902. Digitaliserad översättning. Kapitel III, särskilt s. 18–19.

4. Box JF. Guinness, Gosset, Fisher, and Small Samples. Statistical Science. 1987;2(1):45–52. DOI.

5. Student. The Probable Error of a Mean. Biometrika. 1908;6(1):1–25. DOI.

6. Yates F, Mather K. Ronald Aylmer Fisher, 1890-1962. Biographical Memoirs of Fellows of the Royal Society. 1963;9:91–129. DOI.

7. Fisher RA. Statistical Methods for Research Workers. Edinburgh: Oliver and Boyd; 1925. Kapitel III. Webbtranskription.

8. Lehmann EL. The Fisher, Neyman-Pearson Theories of Testing Hypotheses: One Theory or Two? Journal of the American Statistical Association. 1993;88(424):1242–1249. DOI.

9. Ford EB. R. A. Fisher: An Appreciation. Genetics. 2005;171(2):415–417. Fulltextlänk.

10. Fisher RA. Cancer and Smoking. Nature. 1958;182(4635):596. DOI.

11. Neyman J. Silver Jubilee of My Dispute with Fisher. Journal of the Operations Research Society of Japan. 1961;3(4):145–154. Original.

12. Wasserstein RL, Lazar NA. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129–133. DOI.

13. Greenland S, Senn SJ, Rothman KJ, Carlin JB, Poole C, Goodman SN, et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology. 2016;31(4):337–350. DOI.

14. Gelman A, Stern H. The Difference Between “Significant” and “Not Significant” is not Itself Statistically Significant. The American Statistician. 2006;60(4):328–331. DOI.

15. ASA President’s Task Force. ASA President’s Task Force Statement on Statistical Significance and Replicability. Amstat News [Internet]. 1 augusti 2021 [läst 10 oktober 2026]. Arbetsgruppens uttalande.

16. McShane BB, Gal D, Gelman A, Robert C, Tackett JL. Abandon Statistical Significance. The American Statistician. 2019;73(sup1):235–245. DOI.

17. Morey RD, Hoekstra R, Rouder JN, Lee MD, Wagenmakers EJ. The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review. 2016;23(1):103–123. DOI.

18. Lakens D. Equivalence tests: a practical primer for t tests, correlations, and meta-analyses. Social Psychological and Personality Science. 2017;8(4):355–362. DOI.

19. US Food and Drug Administration. Non-Inferiority Clinical Trials to Establish Effectiveness: Guidance for Industry. November 2016. Vägledning. Den daterade versionen används här som metodkälla.

20. Spiegelhalter DJ, Freedman LS, Parmar MKB. Bayesian Approaches to Randomized Trials. Journal of the Royal Statistical Society. Series A (Statistics in Society). 1994;157(3):357–416. DOI. Inklusive diskussion och författarsvar.

21. Gelman A, Vehtari A, Simpson D, Margossian CC, Carpenter B, Yao Y, et al. Bayesian workflow. arXiv [Preprint]. 2020. arXiv:2011.01808. Författartext. Lokal läst version daterad 2 november 2020.

22. van Zwet E, Schwab S, Senn S. The statistical properties of RCTs and a proposal for shrinkage. Statistics in Medicine. 2021;40(27):6107–6117. DOI.

23. Combes A, Hajage D, Capellier G, Demoule A, Lavoué S, Guervilly C, et al. Extracorporeal Membrane Oxygenation for Severe Acute Respiratory Distress Syndrome. New England Journal of Medicine. 2018;378(21):1965–1975. DOI.

24. Goligher EC, Tomlinson G, Hajage D, Wijeysundera DN, Fan E, Jüni P, et al. Extracorporeal Membrane Oxygenation for Severe Acute Respiratory Distress Syndrome and Posterior Probability of Mortality Benefit in a Post Hoc Bayesian Analysis of a Randomized Clinical Trial. JAMA. 2018;320(21):2251–2259. DOI. Korrigerad artikelversion 2019 använd i texten.

25. Lindley DV. A statistical paradox. Biometrika. 1957;44(1-2):187–192. DOI.

26. O'Hagan A, Stevens JW, Campbell MJ. Assurance in clinical trial design. Pharmaceutical Statistics. 2005;4(3):187–201. DOI.

27. Hoenig JM, Heisey DM. The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis. The American Statistician. 2001;55(1):19–24. DOI.

28. Gelman A, Carlin J. Beyond power calculations: assessing Type S (sign) and Type M (magnitude) errors. Perspectives on Psychological Science. 2014;9(6):641–651. DOI.

29. Ioannidis JPA. Why Most Published Research Findings Are False. PLoS Medicine. 2005;2(8):e124. DOI.

30. Goodman S, Greenland S. Why Most Published Research Findings Are False: Problems in the Analysis. PLoS Medicine. 2007;4(4):e168. DOI.

31. Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science. 2011;22(11):1359–1366. DOI.

32. Kerr NL. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review. 1998;2(3):196–217. DOI.

33. Reinhart A. Statistics Done Wrong: The Woefully Complete Guide. San Francisco: No Starch Press; 2015. Förlagsuppgifter.

34. Bennett CM, Baird AA, Miller MB, Wolford GL. Neural correlates of interspecies perspective taking in the post-mortem Atlantic salmon: an argument for proper multiple comparisons correction. Journal of Serendipitous and Unexpected Results. 2010;1(1):1–5. Original.

35. de Heide R, Grünwald PD. Why optional stopping can be a problem for Bayesians. Psychonomic Bulletin & Review. 2021;28(3):795–812. DOI.

36. Ramdas A, Grünwald P, Vovk V, Shafer G. Game-theoretic statistics and safe anytime-valid inference. arXiv [Preprint]. 2023. arXiv:2210.01948v2, 17 juni 2023. Författarversion.

37. Benjamin DJ, Berger JO, Johannesson M, Nosek BA, Wagenmakers EJ, Berk R, et al. Redefine statistical significance. Nature Human Behaviour. 2018;2(1):6–10. DOI. Publicerad online 2017.

38. Lakens D, Adolfi FG, Albers CJ, Anvari F, Apps MAJ, Argamon SE, et al. Justify your alpha. Nature Human Behaviour. 2018;2(3):168–171. DOI.

39. Mayo DG, Hand D. Statistical significance and its critics: practicing damaging science, or damaging scientific practice? Synthese. 2022;200(3):220. DOI.

40. Wasserstein RL, Schirm AL, Lazar NA. Moving to a World Beyond “p < 0.05”. The American Statistician. 2019;73(sup1):1–19. DOI.

41. Gates S, Ealing E. Reporting and interpretation of results from clinical trials that did not claim a treatment difference: survey of four general medical journals. BMJ Open. 2019;9(9):e024785. Original. doi:10.1136/bmjopen-2018-024785.

42. Giesen LFP, Roest JA, Koopman FMA, Deckers MML, Chon H, Hackeng CM, et al. Performance, Safety, and Patient Experience of an Autonomous Robotic Phlebotomy Device: A Multicenter Trial. Clinical Chemistry. 2026;72(8):845–856. DOI.

43. Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1986;1(8476):307–310. DOI. Författarens fulltexttranskription med numeriska rättelser.

44. Clinical and Laboratory Standards Institute. EP09: Measurement Procedure Comparison and Bias Estimation Using Patient Samples. Officiell webböversikt av tredje utgåvan, korrigerad 2018 [Internet; läst 10 oktober 2026]. Översikt och tillämpningsområde. Hänvisningen avser webböversikten, inte standardens fulltext.