För den mer begränsade frågan

Varför används vanligtvis en partisk standardavvikelseformel?

det enkla svaret

Eftersom den associerade variansen -uppskattaren är opartisk. Det finns ingen riktig matematisk / statistisk motivering.

kan vara korrekt i många fall.

Detta är dock inte nödvändigtvis alltid fallet. Det finns åtminstone två viktiga aspekter av dessa frågor som bör förstås.

För det första är provvariansen $ s ^ 2 $ inte bara opartisk för gaussiska slumpmässiga variabler. Det är opartiskt för någon distribution med begränsad varians $ \ sigma ^ 2 $ (som diskuteras nedan, i mitt ursprungliga svar). Frågan noterar att $ s $ inte är opartisk för $ \ sigma $, och föreslår ett alternativ som är opartiskt för en Gauss slumpmässig variabel. Det är emellertid viktigt att notera att till skillnad från variansen är det för standardavvikelsen inte möjligt att ha en "distributionsfri" opartisk estimator (* se anmärkning nedan).

Andra , som nämnts i kommentaren av whuber, påverkar det faktum att $ s $ är partisk inte standardtestet. Observera först att för en Gaussisk variabel $ x $, om vi uppskattar z-poäng från ett exempel $ \ {x_i \} $ som $$ z_i = \ frac {x_i- \ mu} {\ sigma} \ approx \ frac { x_i- \ bar {x}} {s} $$ då kommer dessa att vara partiska.

Men t-statistiken används vanligtvis i samband med samplingsfördelningen på $ \ stapel {x} $. I detta fall skulle z-poängen vara $$ z _ {\ bar {x}} = \ frac {\ bar {x} - \ mu} {\ sigma _ {\ bar {x}}} \ ungefär \ frac {\ bar {x} - \ mu} {s / \ sqrt {n}} = t $$ men vi kan inte beräkna varken $ z $ eller $ t $, eftersom vi inte känner till $ \ mu $. Ändå, om $ z _ {\ bar {x}} $ -statistiken skulle vara normal, kommer $ t $ -statistiken att följa en Student-t-distribution. Detta är inte en stor approximation på $ n $. Det enda antagandet är att $ x $ -proverna är i.i.d. Gaussisk.

(Vanligtvis tillämpas t-testet bredare för eventuellt icke-Gaussiska $ x $. Detta förlitar sig på stora- $ n $, vilket enligt den centrala gränssatsen säkerställer att $ \ bar {x} $ kommer fortfarande att vara gaussisk.)

* Förtydligande om "distributionsfri opartisk uppskattning"

Med "distribution gratis", Jag menar att uppskattaren inte kan bero på någon information om populationen $ x $ förutom exemplet $ \ {x_1, \ ldots, x_n \} $. Med "opartisk" menar jag att det förväntade felet $ \ mathbb {E} [\ hat {\ theta} _n] - \ theta $ är enhetligt noll, oberoende av provstorleken $ n $. (Till skillnad från en uppskattare som bara är asymptotiskt opartisk, aka " konsekvent", för vilken förspänningen försvinner som $ n \ till \ infty $.)

I kommentarerna gavs detta som ett möjligt exempel på en "distributionsfri opartisk estimator". Sammanfattningsvis är denna uppskattare av formen $ \ hat {\ sigma} = f [s, n, \ kappa_x] $, där $ \ kappa_x $ är överskottet av kurtos på $ x $. Denna uppskattare är inte "distributionsfri", eftersom $ \ kappa_x $ beror på fördelningen av $ x $. Uppskattaren sägs uppfylla $ \ mathbb {E} [\ hat {\ sigma}] - \ sigma_x = \ mathrm {O} [\ frac {1} {n}] $, där $ \ sigma_x ^ 2 $ är avvikelse på $ x $. Därför är uppskattaren konsekvent men inte (absolut) "opartisk", eftersom $ \ mathrm {O} [\ frac {1} {n}] $ kan vara godtyckligt stor för små $ n $.

Obs: Nedan är mitt ursprungliga "svar". Härifrån handlar kommentarerna om standard "sampel" medelvärde och varians, som är "distributionsfria" opartiska uppskattare (dvs. populationen antas inte vara Gauss).

Detta är inte ett fullständigt svar utan snarare ett förtydligande om varför exempel varians -formeln ofta används.

Med tanke på slumpmässigt urval $ \ {x_1, \ ldots, x_n \} $, så länge variablerna har ett gemensamt medelvärde, kommer uppskattaren $ \ bar {x} = \ frac {1} {n} \ sum_ix_i $ att vara opartisk , dvs. $$ \ mathbb {E} [x_i] = \ mu \ innebär \ mathbb {E} [\ bar {x}] = \ mu $$

Om variablerna också har en gemensam ändlig varians, och de är okorrelerade , så är uppskattaren $ s ^ 2 = \ frac {1} {n-1} \ sum_i (x_i- \ bar {x}) ^ 2 $ kommer också att vara opartisk, dvs. $$ \ mathbb {E} [x_ix_j] - \ mu ^ 2 = \ börja {fall} \ sigma ^ 2&i = j \\ 0&i \ neq {j} \ end {cases} \ implicerar \ mathbb {E} [s ^ 2] = \ sigma ^ 2 $$ Observera att dessa bedömares opartiskhet beror endast på antagandena ovan ( och förväntans linjäritet; beviset är bara algebra). Resultatet beror inte på någon särskild distribution, såsom Gaussian. Variablerna $ x_i $ behöver inte ha en gemensam fördelning, och de behöver inte ens vara oberoende (dvs. provet behöver inte vara iid).

"Exempel på standardavvikelse" $ s $ är inte en opartisk uppskattning, $ \ mathbb {s} \ neq \ sigma $, men ändå används ofta. Min gissning är att detta helt enkelt beror på att det är kvadratroten till den opartiska provvariansen. (Utan mer sofistikerad motivering.)

I fallet med en i.i.d. Gaussiskt exempel, maximala sannolikhetsuppskattningar (MLE) för parametrarna är $ \ hat {\ mu} _ \ mathrm {MLE} = \ bar {x} $ och $ (\ hat {\ sigma} ^ 2) _ \ mathrm {MLE} = \ frac {n-1} {n} s ^ 2 $, dvs variansen dividerar med $ n $ snarare än $ n ^ 2 $. Dessutom i i.i.d. Gaussiskt fall är standardavvikelsen MLE bara kvadratroten av MLE-variansen. Dessa formler, liksom den som antyds i din fråga, beror dock på den gaussiska i.i.d. antagande.

Uppdatering: Ytterligare förtydligande om "partisk" kontra "opartisk".

Tänk på ett $ n $ -element som ovan , $ X = \ {x_1, \ ldots, x_n \} $, med summa-kvadratavvikelse $$ \ delta ^ 2_n = \ sum_i (x_i- \ bar {x}) ^ 2 $$ Med tanke på antagandena i första delen ovan har vi nödvändigtvis $$ \ mathbb {E} [\ delta ^ 2_n] = (n-1) \ sigma ^ 2 $$ så (Gaussian-) MLE-estimatorn är partisk $$ \ widehat {\ sigma ^ 2_n} = \ tfrac {1} {n} \ delta ^ 2_n \ innebär \ mathbb {E} [\ widehat {\ sigma ^ 2_n}] = \ tfrac {n-1} {n } \ sigma ^ 2 $$ medan uppskattaren "exempelvarians" är opartisk $$ s ^ 2_n = \ tfrac {1} {n-1} \ delta ^ 2_n \ antyder \ mathbb {E} [s ^ 2_n] = \ sigma ^ 2 $$

Nu är det sant att $ \ widehat {\ sigma ^ 2_n} $ blir mindre partisk när provstorleken $ n $ ökar. $ S ^ 2_n $ har dock noll bias oavsett provstorlek (så länge $ n>1 $). För båda uppskattarna kommer variansen för deras samplingsfördelning att vara noll och beror på $ n $.

Som ett exempel, nedan Matlab-koden tar hänsyn till ett experiment med $ n = 2 $ prover från en standard-normalpopulation $ z $. För att uppskatta samplingsfördelningarna för $ \ bar {x}, \ widehat {\ sigma ^ 2}, s ^ ​​2 $ upprepas experimentet $ N = 10 ^ 6 $ gånger. (Du kan klippa & och klistra in koden här för att prova själv.)

 % n = provstorlek, N = antal prover n = 2; N = 1e6;% genererar standard-normal slumpmässig # 'sz = randn (n, N); % dvs mu = 0, sigma = 1% beräkna provstatistik (Gaussian MLE) zbar = summa (z) / n; zvar_mle = summa ((z-zbar). ^ 2) / n;% beräkna ensemble statistik (sampling-pdf betyder) zbar_avg = summa (zbar) / N, zvar_mle_avg = summa (zvar_mle) / N% beräkna opartisk varianszvar_avg = zvar_mle_avg * n / (n-1)  

Typisk utgång är som

  zbar_avg = 1.4442e-04zvar_mle_avg = 0.49988 zvar_avg = 0.99977  

bekräftar att \ börjar {align} \ mathbb {E} [\ bar {z}] & \ approx \ overline {(\ bar {z})} \ approx \ mu = 0 \\\ mathbb {E} [s ^ 2] & \ approx \ overline {(s ^ 2)} \ approx \ sigma ^ 2 = 1 \\\ mathbb {E} [\ widehat {\ sigma ^ 2 }] & \ approx \ overline {(\ widehat {\ sigma ^ 2})} \ approx \ frac {n-1} {n} \ sigma ^ 2 = \ frac {1} {2} \ end {align}

Uppdatering 2: Observera i grund och botten "algebraisk" karaktär av opartiskhet.

I ovanstående numeriska demonstration approximerar koden den sanna förväntningen $ \ mathbb {E} [\,] $ med hjälp av ett ensemble-medelvärde med $ N = 10 ^ 6 $ replikationer av experimentet (dvs. var och en är ett urval av storlek$ n = 2 $).Även med detta stora antal är de typiska resultaten som citeras ovan långt ifrån exakta.

För att numeriskt visa att uppskattarna är verkligen opartiska kan vi använda ett enkelt trick för att approximera $ N \ till \ infty $ fall: lägg bara till följande rad i koden

 % optional: "whiten" data(säkerställ exakt ensemblestatistik) [U, S, V] = svd (z-medelvärde (z, 2), 'econ');z = sqrt (N) * U * V ';  

(placeras efter "generera standard-normala slumpmässiga nummer" och före "beräkna exempelstatistik")

Med den här enkla ändringen ger till och med att köra koden med $ N = 10 $ resultat som

  zbar_avg = 1.1102e-17zvar_mle_avg = 0.50000zvar_avg = 1.00000 

Standardavvikelsen för exempel $ S = \ sqrt {\ frac {\ sum (X - \ bar {X}) ^ 2} {n-1}} $ är komplett och tillräcklig för $ \ sigma $ så uppsättningen opartiska uppskattare av $ \ sigma ^ k $ ges av

$$ \ frac {(n-1) ^ \ frac {k} {2}} {2 ^ \ frac {k} {2}} \ cdot \ frac {\ Gamma \ left (\ frac {n-1} {2} \ right)} {\ Gamma \ left (\ frac {n + k-1} {2} \ right)} \ cdot S ^ k = \ frac {S ^ k} {c_k} $$

(Se Varför är exempel på standardavvikelse en partisk uppskattning av $ \ sigma $?) är av Lehmann –Scheffé-satsen, UMVUE. Konsekventa, även om partiska, uppskattare av $ \ sigma ^ k $ kan också bildas som

$$ \ tilde {\ sigma} ^ k_j = \ left (\ frac {S ^ j} {c_j} \ höger) ^ \ frac {k} {j} $$

(de opartiska uppskattarna anges när $ j = k $). Bias för var och en ges av

$$ \ operatorname {E} \ tilde {\ sigma} ^ k_j - \ sigma ^ k = \ left (\ frac {c_k} {c_j ^ \ frac {k } {j}} -1 \ höger) \ sigma ^ k $$

& dess varians med

$$ \ operatornamn {Var} \ tilde {\ sigma} ^ {k } _j = \ operatorname {E} \ tilde {\ sigma} ^ {2k} _j - \ left (\ operatorname {E} \ tilde {\ sigma} ^ k_j \ right) ^ 2 = \ frac {c_ {2k} - c_k ^ 2} {c_j ^ \ frac {2k} {j}} \ sigma ^ {2k} $$

För de två uppskattningarna av $ \ sigma $ du har övervägt, $ \ tilde {\ sigma} ^ 1_1 = \ frac {S} {c_1} $ & $ \ tilde {\ sigma} ^ 1_2 = S $, bristen på förspänning av $ \ tilde {\ sigma} _1 $ kompenseras mer än av dess större varians jämfört med $ \ tilde {\ sigma} _2 $:

$$ \ begin {align} \ operatorname {E} \ tilde {\ sigma} _1 - \ sigma & = 0 \\\ operatorname { E} \ tilde {\ sigma} _2 - \ sigma & = (c_1 -1) \ sigma \\\ operatornamn {Var} \ tilde {\ sigma} _1 = \ operatornamn {E} \ tilde {\ sigma} ^ {2 } _1 - \ left (\ operatorname {E} \ tilde {\ sigma} ^ 1_1 \ right) ^ 2 & = \ frac {c_ {2} -c_1 ^ 2} {c_1 ^ 2} \ sigma ^ {2} = \ left (\ frac {1} {c_1 ^ 2} -1 \ höger) \ sigma ^ 2 \\\ opera tornorn {Var} \ tilde {\ sigma} _2 = \ operatorname {E} \ tilde {\ sigma} ^ {2} _1 - \ left (\ operatorname {E} \ tilde {\ sigma} _2 \ right) ^ 2 & = \ frac {c_ {2} -c_1 ^ 2} {c_2} \ sigma ^ {2} = (1-c_1 ^ 2) \ sigma ^ 2 \ end {align} $$ (Observera att $ c_2 = 1 $, eftersom $ S ^ 2 $ redan är en opartisk uppskattning av $ \ sigma ^ 2 $.)

Det genomsnittliga kvadratfelet på $ a_k S ^ k $ som en uppskattning av $ \ sigma ^ 2 $ ges av

$$ \ begin {align} (\ operatorname {E} a_k S ^ k - \ sigma ^ k) ^ 2 + \ operatorname {E} (a_k S ^ k) ^ 2 - (\ operatorname {E} a_k S ^ k) ^ 2& = [(a_k c_k -1) ^ 2 + a_k ^ 2 c_ {2k} - a_k ^ 2 c_k ^ 2] \ sigma ^ {2k} \\ & = (a_k ^ 2 c_ {2k} -2 a_k c_k + 1) \ sigma ^ {2k} \ end {align} $ $

& minimeras därför när

$$ a_k = \ frac {c_k} {c_ {2k}} $$

, vilket möjliggör definition av en annan uppsättning av uppskattare av potentiellt intresse:

$$ \ hat {\ sigma} ^ k_j = \ left (\ frac {c_j S ^ j} {c_ {2j}} \ right) ^ \ frac {k} {j} $$

Märkligt nog, $ \ hat {\ sigma} ^ 1_1 = c_1S $, så samma konstant som delar $ S $ för att ta bort förspänning multiplicerar $ S $ för att minska MSE. Hur som helst, dessa är de enhetligt minsta varians plats-invarianta & skala-ekvivarianta uppskattarna av $ \ sigma ^ k $ (du vill inte att din uppskattning ska ändras alls om du mäter i kelvin snarare än grader Celsius, & du vill att den ska ändra med faktorn $ \ left (\ frac {9} {5} \ right) ^ k $ om du mäter i Fahrenheit).

Inget av ovanstående har någon betydelse för konstruktionen av hypoteser eller konfidensintervall (se t.ex. Varför säger detta utdrag att opartisk uppskattning av standardavvikelse vanligtvis inte är relevant?). Och $ \ tilde {\ sigma} ^ k_j $ & $ \ hat {\ sigma} ^ k_j $ avlägsnar varken uppskattare eller parameterskalor av potentiellt intresse - överväga den maximala sannolikhetsuppskattaren ^† $ \ sqrt { \ frac {n-1} {n}} S $, eller den median-objektiva uppskattaren $ \ sqrt {\ frac {n-1} {\ chi ^ 2_ {n-1} (0,5)}} S $; eller den geometriska standardavvikelsen för en lognormal distribution $ \ mathrm {e} ^ \ sigma $. Det kan vara värt att visa några mer eller mindre populära uppskattningar gjorda av ett litet urval ($ n = 2 $) tillsammans med de övre & nedre gränserna, $ \ sqrt {\ frac {(n-1) s ^ 2} {\ chi ^ 2_ {n-1} (\ alpha)}} $ & $ \ sqrt {\ frac {(n-1) s ^ 2} {\ chi ^ 2_ {n-1} (1- \ alpha) }} $, av det lika svansade konfidensintervallet med täckning $ 1- \ alpha $:

Spännvidden mellan de mest avvikande uppskattningarna är försumbar jämfört med bredden på alla konfidensintervall som har anständig täckning. (95% CI, till exempel, är $ (0,45s, 31,9s) $.) Det är ingen mening att vara snygg över egenskaperna hos en punktuppskattare såvida du inte är beredd att vara ganska tydlig om vad du vill att du vill använd den för - tydligast kan du definiera en anpassad förlustfunktion för ett visst program. En anledning till att du kanske föredrar en exakt (eller nästan) opartisk uppskattning är att du kommer att använda den i efterföljande beräkningar under vilka du inte vill att förspänningen ska ackumuleras: din illustration av genomsnittliga förspända uppskattningar av standardavvikelse är ett enkelt exempel på sådana (ett mer komplext exempel kan vara att använda dem som ett svar i en linjär regression). I princip bör en heltäckande modell undanröja behovet av opartiska uppskattningar som ett mellansteg, men det kan vara betydligt svårare att specificera &-passform.

† Värdet på $ \ sigma $ som gör de observerade data mest sannolika har en överklagande som en uppskattning oberoende av övervägande av dess provfördelning.

F2: Skulle någon snälla förklara för mig varför vi använder SD ändå, eftersom det är tydligt partiskt och vilseledande?

Detta kom upp som ett bortfall i kommentarer, men jag tror att det upprepas eftersom det är kärnan i svaret:

Exempelvariansformeln är opartisk, och avvikelser är additiva . Så om du förväntar dig att göra några (affina) omvandlingar är detta en allvarlig statistisk anledning till varför du bör insistera på en "trevlig" variansuppskattare över en "trevlig" SD-uppskattning.

I en idealisk värld är de skulle vara likvärdigt. Men det är inte sant i detta universum. Du måste välja en, så du kan lika gärna välja den som låter dig kombinera information på vägen.

Jämföra två exempelmedel? Variansen av deras skillnad är summan av deras avvikelser.
Gör en linjär kontrast med flera termer? Få dess varians genom att ta en linjär kombination av deras avvikelser.
Ser du på regressionslinjepassningar? Få deras varians med hjälp av varians-kovariansmatrisen för dina uppskattade beta-koefficienter.
Använda F-test, eller t-test, eller t-baserade konfidensintervall? F-testet kräver avvikelser direkt; och t-testet motsvarar exakt kvadratroten av ett F-test.

I vart och ett av dessa vanliga scenarier, om du börjar med opartiska avvikelser, förblir du opartisk hela vägen (om inte din sista steget konverteras till SD för rapportering).
Om du skulle börja med opartiska SD skulle varken dina mellansteg eller slutresultatet vara opartiskt ändå .

Det här inlägget är i översiktsform.

(1) Att ta en kvadratrot är inte en affin transformation (Credit @Scortchi.)

(2) $ {\ rm var} (s) = {\ rm E} (s ^ 2) - {\ rm E} (s) ^ 2 $, alltså $ {\ rm E} (s) = \ sqrt {{\ rm E} (s ^ 2) - {\ rm var} (s)} \ neq {\ sqrt {\ rm var (s)}} $

(3) $ {\ rm var} (s) = \ frac {\ Sigma_ { i = 1} ^ {n} (x_i- \ bar {x}) ^ 2} {n-1} $, medan $ \ text {E} (s) \, = \, \, \ frac { \ Gamma \ left (\ frac {n-1} {2} \ right)} {\ Gamma \ left (\ frac {n} {2} \ right)} \ sqrt {\ frac {\ Sigma_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2} {2}} $ $ \ neq \ sqrt {\ frac {\ Sigma_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2} {n-1}} = {\ sqrt {\ rm var (s)}} $

(4) Vi kan alltså inte ersätta $ {\ sqrt {\ rm var (s)}} $ för $ \ text {E} (s) $, för $ n $ liten, eftersom kvadratroten inte är affin.

(5) $ {\ rm var} (s) $ och $ \ text {E} (s) $ är opartiska (Credit @ GeoMatt22 respektive @Macro).

(6) För icke-normala distributioner är $ \ bar {x} $ ibland (a) odefinierad (t.ex. Cauchy, Pareto med liten $ \ alpha $) och (b) inte UMVUE (t.ex. Cauchy ($ \ rightarrow $ Student's- $ t $ with $ df = 1 $), Pareto, Uniform, beta). Ännu vanligare kan varians vara odefinierad, t.ex. Student- $ t $ med $ 1 \ leq df \ leq2 $. Då kan man konstatera att $ \ text {var} (s) $ inte är UMVUE för den allmänna fallfördelningen. Således finns det ingen särskild skyldighet att införa en ungefärlig korrigering av litet antal för standardavvikelse, som sannolikt har liknande begränsningar till $ \ sqrt {\ text {var} (s)} $, men som dessutom är mindre partisk, $ \ hat \ sigma = \ sqrt {\ frac {1} {n - 1.5 - \ tfrac14 \ gamma_2} \ sum_ {i = 1} ^ n (x_i - \ bar {x}) ^ 2} $,

där $ \ gamma_2 $ är överskott av kurtos. På samma sätt, när vi undersöker en normal kvadratfördelning (en Chi-kvadrat med $ df = 1 $ transform), kan vi bli frestade att ta dess kvadratrot och använda de resulterande normalfördelningsegenskaperna. I allmänhet kan normalfördelningen bero på omvandlingar av andra fördelningar och det kan vara lämpligt att undersöka egenskaperna hos den normala fördelningen så att begränsningen av litet antal korrigeringar till det normala fallet inte är så allvarlig en begränsning som man kan antar först.

För normalfördelningsfallet:

A1: Av Lehmann-Scheffes teorem $ {\ rm var} (s) $ och $ \ text {E} (s) $ är UMVUE (Credit @Scortchi).

A2: (Redigerad för att justera för kommentarer nedan .) För $ n \ leq 25 $, bör vi använda $ \ text {E} (s) $ för standardavvikelse, standardfel, konfidensintervall för medelvärdet och fördelningen, och valfritt för z-statistik. För $ t $ -test skulle vi inte använda den opartiska beräknaren eftersom $ \ frac {\ bar X - \ mu} {\ sqrt {\ text {var} (n) / n}} $ själv är student- $ t $ distribuerad med $ n-1 $ frihetsgrader (Credit @ whuber och @ GeoMatt22). För z-statistik approximeras vanligtvis $ \ sigma $ med $ n $ large för vilken $ \ text {E} (s) - \ sqrt {\ text {var} (n)} $ är liten, men för vilken $ \ texten {E} (s) $ verkar vara mer matematiskt lämplig (Credit @whuber och @ GeoMatt22).

Jag vill lägga till det Bayesiska svaret i denna diskussion.Bara för att ditt antagande är att data genereras enligt något normalt med okänt medelvärde och varians betyder det inte att du ska sammanfatta dina data med hjälp av ett medelvärde och en varians.Hela detta problem kan undvikas om du ritar modellen, som kommer att ha en bakre förutsägelse som är en treparameters icke-central skalad studentens T-fördelning.De tre parametrarna är summan av proverna, summan av de kvadrerade proverna och antalet prover.(Eller någon karta över dessa.)

Jag gillar för övrigt civilstatens svar eftersom det lyfter fram vår önskan att kombinera information.De tre tillräckliga statistiken ovan är ännu bättre än de två som ges i frågan (eller av civilstatens svar).Två uppsättningar av denna statistik kan enkelt kombineras, och de ger den bästa bakre förutsägelsen med tanke på antagandet om normalitet.