Så här förklarar jag den grundläggande skillnaden för min mormor:

Jag har placerat min telefon någonstans i hemmet. Jag kan använda telefonsökaren på instrumentets bas för att lokalisera telefonen och när jag trycker på telefonsökaren börjar telefonen pipa.

Problem: Vilket område i mitt hem ska jag söka?

Resonemang frekventist

Jag hör att telefonen piper. Jag har också en mental modell som hjälper mig att identifiera det område från vilket ljudet kommer. Därför, när jag hör pipet, drar jag slut på det område i mitt hem som jag måste söka för att hitta telefonen.

Bayesian resonemang

Jag kan höra telefonen pipa. Nu, förutom en mental modell som hjälper mig att identifiera det område ljudet kommer ifrån, känner jag också till de platser där jag tidigare har placerat telefonen fel. Så jag kombinerar mina slutsatser med pip och min tidigare information om de platser jag tidigare har placerat telefonen för att identifiera ett område jag måste söka för att hitta telefonen.

Tunga fast i kinden:

En Bayesian definierar en "sannolikhet" på exakt samma sätt som de flesta icke-statistiker gör - nämligen en indikation på sannolikheten för en proposition eller en situation. Om du ställer honom en fråga kommer han att ge dig ett direkt svar med tilldelning av sannolikheter som beskriver sannolikheten för de möjliga resultaten för den specifika situationen (och ange sina tidigare antaganden).

En frekventist är någon som tror att sannolikheter representerar långsiktiga frekvenser med vilka händelser inträffar; om det behövs kommer han att uppfinna en fiktiv befolkning från vilken din specifika situation kan betraktas som ett slumpmässigt urval så att han meningsfullt kan prata om långsiktiga frekvenser. Om du ställer honom en fråga om en viss situation, kommer han inte att ge ett direkt svar, utan i stället göra ett uttalande om denna (möjligen imaginära) befolkning. Många icke-frekventistiska statistiker kommer lätt att förväxlas av svaret och tolkar det som Bayesians sannolikhet om den speciella situationen. ge i princip samma resultat, skillnaden är till stor del en fråga om filosofi, och i praktiken handlar det om "hästar för kurser".

Som ni kanske har gissat är jag en Bayesian och ingenjör. ; o)

Mycket grovt skulle jag säga att:

Frequentist: Provtagningen är oändlig och beslutsreglerna kan vara skarpa. Data är ett repeterbart slumpmässigt urval - det finns en frekvens. Underliggande parametrar är fasta, dvs de förblir konstanta under denna repeterbara provtagningsprocess.

Bayesian: Okända mängder behandlas probabilistiskt och världens tillstånd kan alltid uppdateras. Data observeras från det realiserade provet. Parametrar är okända och beskrivs probabilistiskt. Det är uppgifterna som fixas.

Det finns ett lysande blogginlägg som ger ett djupgående exempel på hur en Bayesian och Frequentist skulle ta itu med samma problem. Varför inte svara på problemet själv och sedan kolla?

Problemet (hämtat från Panos Ipeirotis blogg):

Du har ett mynt som när det vänds hamnar huvudet med sannolikhet $ p $ och slutar svansen med sannolikhet $ 1-p $ . (Värdet av $ p $ är okänt.)

Försöker uppskatta $ p $ span> vänder du myntet 100 gånger. Det hamnar huvudet 71 gånger.

Då måste du bestämma dig för följande händelse: "I de kommande två kasten får vi två huvuden i rad."

Skulle du satsa på att händelsen kommer att inträffa eller att den inte kommer att hända?

Låt oss säga att en man rullar en sexsidig matris och den har resultatet 1, 2, 3, 4, 5 eller 6. Dessutom säger han att om den landar på en 3, ger han dig en fritext bok.

Då informellt:

Frequentist skulle säga att varje utfall har lika 1 till 6 chans att inträffa. Hon ser sannolikheten som härledd från långsiktiga frekvensfördelningar.

Bayesian men skulle säga hänga på en sekund, jag vet att mannen, han är David Blaine, en berömd trickster! Jag känner att han gör något. Jag ska säga att det bara är 1% chans att det landar på en 3 MEN Jag ska omvärdera denna tro och ändra den ju fler gånger han rullar formen. Om jag ser att de andra siffrorna kommer upp lika ofta, ökar jag chansen iterativt från 1% till något högre, annars minskar jag det ytterligare. Hon ser sannolikheten som grader av tro på en proposition.

Bara lite kul ...

En Bayesian är en som vagt förväntar sig en häst och få en glimt av en åsna, tror starkt att han har sett en mula.

Från denna webbplats:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

och från samma webbplats, en trevlig uppsats ...

"En intuitiv förklaring av Bayes teorem"

http://yudkowsky.net/rational/bayes

Bayesianen ombeds att satsa, som kan innehålla allt från vilket flugan kommer att krypa upp en vägg snabbare till vilken medicin kommer att rädda de flesta liv, eller vilka fångar som ska gå i fängelse. Han har en stor låda med handtag. Han vet att om han lägger absolut allt han vet i lådan, inklusive hans personliga åsikt, och vrider handtaget, kommer det att göra det bästa möjliga beslutet för honom.

Frekvensen ombeds att skriva rapporter. Han har en stor svart bok med regler. Om situationen han blir ombedd att göra en rapport om omfattas av hans regelbok kan han följa reglerna och skriva en rapport så noggrant formulerad att den är i värsta fall fel en gång i 100 (eller en gång i 20, eller en tid oavsett specifikationen för hans rapport säger. kunde bli dåligt. Frekvensen vet också (av samma anledning) att om han satsar mot Bayesian varje gång han skiljer sig från honom, så kommer han på lång sikt att förlora.

På vanlig engelska skulle jag säga att Bayesian och Frequentist resonemang utmärks av två olika sätt att besvara frågan:

Vad är sannolikhet?

De flesta skillnader kommer i huvudsak att gå ner på hur var och en svarar på den här frågan, för den definierar i princip domänen för giltiga tillämpningar av teorin. Nu kan du inte riktigt ge något av svaren i termer av "vanlig engelska" utan att ytterligare generera fler frågor. För mig är svaret (som du förmodligen kan gissa)

sannolikhet är logik

min "icke-klara engelska" anledning till detta är att beräkningen av propositioner är ett speciellt fall av sannolikhetsberäkningen, om vi representerar sanningen med $ 1 $ och falskheten med $ 0 $. Dessutom kan beräkningen av sannolikheter härledas från beräkningen av propositioner. Detta överensstämmer med det "bayesiska" resonemanget närmast - även om det också utvidgar det bayesiska resonemanget i applikationer genom att tillhandahålla principer för att tilldela sannolikheter, utöver principer för att manipulera dem. Naturligtvis leder detta till uppföljningsfrågan "vad är logik?" för mig är det närmaste jag kan ge som svar på denna fråga "logik är sunt förnuft bedömningar av en rationell person, med en viss uppsättning antaganden" (vad är en rationell person? etc. etc.). Logik har alla samma funktioner som Bayesian resonemang har. Logiken säger till exempel inte vad du ska anta eller vad som är "helt sant". Den berättar bara hur sanningen i en proposition är relaterad till sanningen i en annan. Du måste alltid tillhandahålla ett logiskt system med "axiomer" för att det ska komma igång med slutsatserna. De har också samma begränsningar genom att du kan få godtyckliga resultat från motsägelsefulla axiom. Men "axiomer" är inget annat än tidigare sannolikheter som har ställts till $ 1 $. Att avvisa Bayesiansk resonemang är för mig att avvisa logik. För om du accepterar logik måste du också acceptera Bayesianskt resonemang "logiskt från logik" (hur är det för vanlig engelska: P).

För frekvent resonemang har vi svaret:

sannolikhet är frekvens

även om jag inte är säker på att "frekvens" är en vanlig engelsk term på det sätt som den används här - kanske "proportion" är ett bättre ord. Jag ville lägga till i det frekventistiska svaret att sannolikheten för en händelse anses vara en verklig, mätbar (observerbar?) Kvantitet, som existerar oberoende av personen / objektet som beräknar den. Men jag kunde inte göra detta på ett "vanligt engelska" sätt.

Så kanske en "vanlig engelsk" version av en kan skillnaden vara att frekvent resonemang är ett försök att resonera från "absoluta" sannolikheter, medan bayesian resonemang är ett försök att resonera från "relativa" sannolikheter.

En annan skillnad är att frekventistiska grunder är mer vaga i hur du översätter det verkliga världsproblemet till teorins abstrakta matematik. Ett bra exempel är användningen av "slumpmässiga variabler" i teorin - de har en exakt definition i den abstrakta världen av matematik, men det finns inget entydigt förfarande man kan använda för att avgöra om någon observerad kvantitet är eller inte är en "slumpmässig variabel ".

Det bayesiska resonemanget, begreppet" slumpmässig variabel "är inte nödvändigt. En sannolikhetsfördelning tilldelas en kvantitet eftersom den är okänd - vilket innebär att den inte kan härledas logiskt från den information vi har. Detta ger på en gång en enkel koppling mellan den observerbara kvantiteten och teorin - eftersom "att vara okänd" är entydig.

Du kan också se i ovanstående exempel en ytterligare skillnad i dessa två sätt att tänka - "slumpmässigt" mot "okänt". "slumpmässighet" formuleras på ett sådant sätt att "slumpmässigheten" verkar som om den är en egenskap för den faktiska kvantiteten. Omvänt beror "att vara okänd" på vilken person du frågar om den kvantiteten - därför är det statistikens egenskap som gör analysen. Detta ger upphov till de "objektiva" kontra "subjektiva" adjektiv som ofta fästs vid varje teori. Det är lätt att visa att "slumpmässighet" inte kan vara en egenskap hos vissa standardexempel, genom att helt enkelt be två frekventister som får olika information om samma kvantitet att avgöra om det är "slumpmässigt". En är den vanliga Bernoulli Urn: frekventist 1 har ögonbindel medan man ritar, medan frekvent 2 står över urnen och ser frekventist 1 dra bollarna från urnen. Om deklarationen om "slumpmässighet" är en egenskap hos bollarna i urnen, kan det inte bero på den olika kunskapen hos frekventist 1 och 2 - och därför bör de två frekventisterna ge samma deklaration av "slumpmässig" eller "inte slumpmässig" .

I själva verket tror jag att mycket av filosofin kring frågan bara är enastående. Det är inte för att avfärda debatten, men det är ett ord av försiktighet. Ibland prioriterar praktiska frågor - jag ska ge ett exempel nedan.

Du kan också lika gärna argumentera för att det finns mer än två tillvägagångssätt:

• Neyman- Pearson ("frekventist")
• Sannolikhetsbaserade tillvägagångssätt
• Helt Bayesian

En seniorkollega påminde mig nyligen om att "många människor på vanligt språk prata om frekventist och Bayesian. Jag tror att en mer giltig åtskillnad är sannolikhetsbaserad och frekventist. Både maximal sannolikhet och Bayesiska metoder följer sannolikhetsprincipen medan frekventistiska metoder inte gör det. p> Jag börjar med ett mycket enkelt praktiskt exempel:

Vi har en patient. Patienten är antingen frisk (H) eller sjuk (S). Vi kommer att utföra ett test på patienten och resultatet blir antingen positivt (+) eller negativt (-). Om patienten är sjuk får de alltid ett positivt resultat. Vi kallar detta rätt (C) resultat och säger att $$ P (+ | S) = 1 $$ eller $$ P (Rätt | S) = 1 $$ Om patienten är frisk, kommer testet att vara negativt 95% av tiden, men det kommer att finnas några falska positiva effekter. $$ P (- | H) = 0,95 $$$$ P (+ | H) = 0,05 $$ I andra verk är sannolikheten för att testet är korrekt, för friska människor, är 95%.

Så testet är antingen 100% korrekt eller 95% korrekt, beroende på om patienten är frisk eller sjuk. Sammantaget betyder det att testet är minst 95% korrekt.

Hittills så bra. Det är de uttalanden som en frekventist skulle göra. Dessa uttalanden är ganska enkla att förstå och är sanna. Det finns inget behov av att våffla om en "frekvent tolkning".

Men saker blir intressanta när du försöker vända på saker. Med tanke på testresultatet, vad kan du lära dig om patientens hälsa? Med tanke på ett negativt testresultat är patienten uppenbarligen frisk, eftersom det inte finns några falska negativ.

Men vi måste också överväga fallet där testet är positivt. Var testet positivt eftersom patienten faktiskt var sjuk, eller var det falskt positivt? Det är här frekventisten och Bayesianen skiljer sig åt. Alla är överens om att detta inte kan besvaras just nu. Frekvensen kommer att vägra att svara. Bayesianen kommer att vara beredd att ge dig ett svar, men du måste ge Bayesianen en förhandsgranskning först - dvs berätta vilken andel av patienterna som är sjuka.

För att sammanfatta är följande uttalanden sanna :

• För friska patienter är testet mycket exakt.
• För sjuka patienter är testet mycket exakt.

Om du är nöjd med uttalanden som det, då använder du frekventistiska tolkningar. Detta kan ändras från projekt till projekt, beroende på vilken typ av problem du tittar på.

Men du kanske vill göra olika uttalanden och svara på följande fråga:

• För de patienter som fick ett positivt testresultat, hur exakt är testet?

Detta kräver en tidigare och en Bayesisk strategi. Observera också att detta är den enda frågan av intresse för läkaren. Läkaren kommer att säga "Jag vet att patienterna antingen kommer att få ett positivt resultat eller ett negativt resultat. Jag också nu när det negativa resultatet innebär att patienten är frisk och kan skickas hem. De enda patienterna som intresserar mig nu är de som fick ett positivt resultat - är de sjuka? ".

Sammanfattningsvis: I exempel som detta kommer Bayesianerna att hålla med om allt som frekvensen säger. Men Bayesian kommer att hävda att frekvensistens uttalanden, även om de är sanna, inte är särskilt användbara. och kommer att argumentera för att de användbara frågorna bara kan besvaras med en föregående.

En frekvent kommer att överväga varje möjligt värde för parametern (H eller S) i tur och ordning och fråga "om parametern är lika med detta värde , vad är sannolikheten för att mitt test är korrekt? "

En Bayesian kommer istället att överväga varje möjligt observerat värde (+ eller -) i tur och ordning och fråga "Om jag föreställer mig att jag just har observerat det värdet, vad säger det mig om den villkorliga sannolikheten för H-kontra-S?" / p>

Bayesiansk och frekventistisk statistik är kompatibel genom att den kan förstås som två begränsande fall för att bedöma sannolikheten för framtida händelser baserat på tidigare händelser och en antagen modell, om man medger att det i gränsen för ett mycket stort antal observationer, ingen osäkerhet om systemet kvarstår, och att i det avseendet är ett mycket stort antal observationer lika med att känna till parametrarna för modellen.

Antag att vi har gjort några observationer, t.ex. resultat av 10 myntvändningar. I Bayesiansk statistik börjar du från vad du har observerat och sedan bedömer du sannolikheten för framtida observationer eller modellparametrar. I frekventistisk statistik utgår du från en idé (hypotes) om vad som är sant genom att anta scenarier för ett stort antal observationer som har gjorts, t.ex. mynt är opartiskt och ger 50% upp, om du kastar det många gånger. Baserat på dessa scenarier för ett stort antal observationer (= hypotes), bedömer du frekvensen för att göra observationer som den du gjorde, dvs. frekvensen för olika utfall på 10 mynt. Det är först då du tar ditt faktiska resultat, jämför det med frekvensen av möjliga resultat och bestämmer om resultatet ska tillhöra de som förväntas inträffa med hög frekvens. Om så är fallet drar du slutsatsen att observationen som görs inte strider mot dina scenarier (= hypotes). Annars drar du slutsatsen att observationen som gjorts är oförenlig med dina scenarier, och du förkastar hypotesen.

Således börjar Bayesiansk statistik från det som har observerats och bedömer möjliga framtida resultat. Frekventiststatistik börjar med ett abstrakt experiment av vad som skulle observeras om man antar något och först då jämför resultaten av det abstrakta experimentet med det som faktiskt observerades. Annars är de två metoderna kompatibla. De bedömer båda sannolikheten för framtida observationer baserat på vissa observationer som gjorts eller antagits.

Jag började skriva upp detta på ett mer formellt sätt:

Positionering av Bayesians inferens som en speciell tillämpning av frekvent inferens och vice versa. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Manuskriptet är nytt. Om du råkar läsa den och har kommentarer, vänligen meddela mig.

Jag skulle säga att de ser på sannolikheten på olika sätt. Bayesian är subjektiv och använder a priori-övertygelser för att definiera en tidigare sannolikhetsfördelning på möjliga värden för okända parametrar. Så han litar på en teori om sannolikhet som deFinettis. Frekvensen ser sannolikheten som något som har att göra med en begränsande frekvens baserat på en observerad andel. Detta är i linje med sannolikhetsteorin som utvecklats av Kolmogorov och von Mises.
En frekventist gör parametrisk inferens med bara sannolikhetsfunktionen. En Bayesian tar det och multiplicerar med en prior och normaliserar det för att få den bakre fördelningen som han använder för slutsats.

Hur jag svarar på denna fråga är att frequentists jämför de data de ser med vad de förväntade sig.Det vill säga, de har en mental modell för hur frekvent något ska hända och ser sedan data och hur ofta det hände.dvs hur sannolikt är de data de har sett med tanke på den modell de valde.

Bayesian-folk, å andra sidan, kombinerar sina mentala modeller.Det vill säga, de har en modell baserad på sina tidigare erfarenheter som berättar för dem hur de tycker att data ska se ut, och sedan kombinerar de detta med de data de observerar för att slå sig ner på någon `` bakre '' tro.dvs. de finner sannolikheten att modellen de försöker välja är giltig med tanke på de data de har observerat.

Frekventist: Naturens verkliga tillstånd är.Om jag vanligtvis gör sådana analyser kommer 95% av mina svar att vara korrekta.

Bayesian: Det finns en 95% chans att det sanna svaret är ... Jag baserar det på en kombination av de data dugav mig och våra tidigare gissningar om vad sanningen är.

Frequentist: satsa på tärningar. Endast tärningens värde avgör resultatet: du vinner din insats eller inte. Beroende på chansen ensam.

Bayesian: spela Texas Hold'em poker. Du är den enda som ser dina två kort. Du har viss kunskap om de andra spelarna på bordet. Du måste justera din sannolikhet för att vinna på floppen, turn och river och eventuellt enligt vilka spelare som är kvar. Bluffar de ofta? Är de aggressiva eller passiva spelare? Allt detta kommer att avgöra vad du gör. Det är inte bara sannolikheten för de två första handkort som du har, som kommer att avgöra om du vinner eller inte.

Att spela frekvent poker skulle innebära att varje spelare skulle visa sina händer i början och sedan satsa eller vika innan floppen, vänd och flodkort visas. Nu beror det bara på chansen igen om du vinner eller inte.

Säg, om du fick huvudvärk och gå till en läkare. Antag att det i beslutsuppsättningen av läkare finns två orsaker till huvudvärk, nr 1 för hjärntumör (en grundorsak som skapar huvudvärk 99% av tiden) och # 2 kall (en orsak som kan skapa huvudvärk hos väldigt få patienter) .

Då skulle läkarnas beslut baserade på frekventistiska tillvägagångssätt vara, du har hjärntumör.

Läkarens beslut baserat på Bayesiansk metod skulle säga att du har fått en förkylning (även om endast 1% av förkylningen orsakar huvudvärk)

En hankatt och en honkatt är nedskrivna i en stålkammare, tillsammans med tillräckligt med mat och vatten i 70 dagar.

En frekventist skulle säga att den genomsnittliga dräktighetsperioden för kattdjur är 66 dagar, honan var i värme när katterna var nedskrivna, och en gång i värme parar hon sig upprepade gånger i 4 till 7 dagar. Eftersom det sannolikt fanns många formeringsformer och tillräckligt med efterföljande tid för dräktighet är oddsen, när lådan öppnas på dag 70 finns det en kull med nyfödda kattungar.

En Bayesian skulle säga, jag hörde några Allvarlig Marvin Gaye kommer från lådan dag 1 och sedan i morse hörde jag många kattunge-liknande ljud som kom från lådan. Så utan att veta mycket om kattreproduktion är oddsen, när lådan öppnas på dag 70 finns det en kull med nyfödda kattungar.