fwiw den medellånga versionen jag brukar ge går så här:

Du vill ställa en fråga om en befolkning men du kan inte. Så du tar ett prov och ställer frågan om det istället. Nu, hur säker du ska vara på att provsvaret ligger nära befolkningssvaret beror uppenbarligen på befolkningsstrukturen. Ett sätt du kan lära dig om detta är att ta prover från befolkningen om och om igen, ställa dem frågan och se hur variabla provsvaren tenderade att vara. Eftersom detta inte är möjligt kan du antingen göra några antaganden om befolkningens form eller så kan du använda informationen i urvalet du faktiskt har för att lära dig mer om den.

Föreställ dig att du bestämmer dig för att göra antaganden, t.ex. att det är normalt, eller Bernoulli eller någon annan lämplig fiktion. Genom att följa den tidigare strategin kunde du igen lära dig hur mycket svaret på din fråga när du ställdes till ett prov kan variera beroende på vilket speciellt prov du råkar få genom att generera flera gånger av samma storlek som du har och be dem samma fråga. Det skulle vara enkelt i den utsträckning att du valde beräkningsanpassade antaganden. (Faktiskt särskilt praktiska antaganden plus icke-trivial matematik kan tillåta dig att kringgå samplingsdelen helt, men vi kommer medvetet att ignorera det här.)

Detta verkar vara en bra idé förutsatt du gör gärna antagandena. Tänk dig att du inte är det. Ett alternativ är att ta det prov du har och prova det istället. Du kan göra detta eftersom det urval du har också är en population, bara en mycket liten diskret; det ser ut som histogrammet för dina data. Provtagning "med utbyte" är bara ett bekvämt sätt att behandla provet som om det är en population och att ta ur det på ett sätt som speglar dess form.

Det här är en rimlig sak att göra för att inte bara provet du har bäst, faktiskt endast informationen du har om hur befolkningen faktiskt ser ut, utan också för att de flesta prover, om de slumpmässigt väljs, kommer att se ut som den population de kom från. Följaktligen är det troligt att din gör det också.

För intuition är det viktigt att tänka på hur du kan lära dig mer om variabilitet genom att samla samplad information som genereras på olika sätt och på olika antaganden. Att helt ignorera möjligheten till matematiska lösningar i sluten form är viktigt för att få klarhet i detta.

+1 till @ConjugatePrior, jag vill bara ta fram en punkt som är implicit i hans svar. Frågan ställer, "om vi samplar ur vårt urval, hur är det så att vi lär oss något om befolkningen snarare än bara om urvalet?" Omprovtagning görs inte för att ge en uppskattning av befolkningsfördelningen - vi tar vårt urval själv som en modell för befolkningen. Snarare görs omprovningen för att ge en uppskattning av samplingsfördelningen för den aktuella provstatistiken.

Detta är förmodligen en mer teknisk förklaring riktad till personer som förstår viss statistik och matematik (åtminstone kalkyl). Här är en bild från en kurs om undersökningens bootstraps som jag undervisade för en tid sedan:

Några förklaringar behövs naturligtvis. $ T $ är proceduren för att erhålla statistiken från existerande data (eller, för att vara tekniskt exakt, en funktion från distributionsfunktionen till reella tal; t.ex. är medelvärdet $ E [X] = \ int x {\ rm d } F $, där för samlingsfördelningsfunktionen $ F_n () $, förstås $ {\ rm d} F $ som en punktmassa vid en samplingspunkt). I populationen, betecknad med $ F () $, ger tillämpningen av $ T $ parametern av intresse $ \ theta $. Nu har vi tagit ett prov (den första pilen överst) och har den empiriska fördelningsfunktionen $ F_n () $ - vi tillämpar $ T $ på den för att få uppskattningen $ \ hat \ theta_n $. Hur långt är det från $ \ theta $, undrar vi? Vad är fördelningen som den slumpmässiga mängden $ \ hat \ theta_n $ kan ha runt $ \ theta $? Detta är frågetecknet längst ned till vänster i diagrammet, och det är denna fråga som bootstrap försöker svara på. För att återuppfatta gungens poäng är det inte frågan om populationen, utan frågan om en viss statistik och dess fördelning. Tja, det är vanligtvis bortom våra möjligheter. Men om

1. $ F_n $ är tillräckligt nära $ F $, i lämplig mening, och
2. kartläggningen $ T $ är tillräckligt smidig, dvs om vi ta små avvikelser från $ F () $, resultaten mappas till siffror nära $ \ theta $,

vi kan hoppas att bootstrap-proceduren fungerar. Vi låtsar nämligen att vår distribution är $ F_n () $ snarare än $ F () $, och med det kan vi underhålla alla möjliga prover - och det kommer $ n ^ n $ sådana prover, vilket bara är praktiskt för $ n \ le 5 $. Låt mig upprepa igen: bootstrap arbetar för att skapa samplingsfördelningen av $ \ hat \ theta_n ^ * $ runt den "sanna" parametern $ \ hat \ theta_n $, och vi hoppas att med de två ovanstående villkoren är denna samplingsfördelning informativ om samplingsfördelningen av $ \ hat \ theta_n $ runt $ \ theta $:

$$ \ hat \ theta_n ^ * \ mbox {till} \ hat \ theta_n \ mbox {är som} \ hat \ theta_n \ mbox {to} \ theta $$

Nu, istället för att bara gå en väg längs pilarna och förlora lite information / noggrannhet längs dessa pilar, kan vi gå tillbaka och säga något om variationen på $ \ hat \ theta_n ^ * $ runt $ \ hat \ theta_n $.

Ovanstående villkor är utpekade det yttersta tekniska i Halls (1991) bok. Förståelsen av kalkyl som jag sa kan krävas som en förutsättning för att stirra på den här bilden är det andra antagandet om jämnhet: på ett mer formellt språk måste den funktionella $ T $ ha ett svagt derivat. Det första villkoret är naturligtvis ett asymptotiskt uttalande: ju större ditt prov, desto närmare bör $ F_n $ bli $ F $; och avstånden från $ \ hat \ theta_n ^ * $ till $ \ hat \ theta_n $ bör vara i samma storleksordning som de från $ \ hat \ theta_n $ till $ \ theta $. Dessa villkor kan gå sönder och de bryts i ett antal praktiska situationer med konstigt nog statistik och / eller samplingsscheman som inte producerar empiriska distributioner som är tillräckligt nära $ F $.

Varifrån kommer de 1000 exemplen, eller vad det magiska numret kan vara, ifrån? Det kommer från vår oförmåga att rita alla $ n ^ n $ -prover, så vi tar bara en slumpmässig delmängd av dessa. Den rätta "simulera" pilen anger ytterligare en approximation som vi gör på väg för att få fördelningen av $ \ hat \ theta_n $ runt $ \ theta $, och det vill säga att vår Monte Carlo simulerade fördelning av $ \ hat \ theta_n ^ {(* r)} $ är en tillräckligt bra approximation av den fullständiga bootstrap-fördelningen av $ \ hat \ theta_n ^ * $ runt $ \ hat \ theta_n $.

Jag svarar på den här frågan eftersom jag håller med om att det här är en svår sak att göra och det finns många missuppfattningar. Efron och Diaconis försökte göra det i sin Scientific American-artikel från 1983 och enligt min åsikt misslyckades de. Det finns flera böcker som nu ägnas åt bootstrap som gör ett bra jobb. Efron och Tibshirani gör ett bra jobb i sin artikel i Statistisk vetenskap 1986. Jag försökte särskilt hårt för att göra bootstrap tillgänglig för utövare i min bootstrap-metodbok och min introduktion till bootstrap med applikationer till R. Halls bok är bra men mycket avancerad och teoretisk . Tim Hesterberg har skrivit ett bra kompletterande kapitel till en av David Moores inledande statistikböcker. Avlidna Clifford Lunneborg hade en fin bok. Chihara och Hesterberg kom nyligen ut med en matematisk statistikbok på medelnivå som täcker bootstrap och andra omprovningsmetoder. Även avancerade böcker som Lahiri eller Shao och Tu ger goda konceptuella förklaringar. Manly klarar sig bra med sin bok som täcker permutationer och bootstrap Det finns ingen anledning att vara förbryllad över bootstrap längre. Det är viktigt att komma ihåg att bootstrap beror på bootstrap-principen "Provtagning med ersättning beter sig på originalprovet på samma sätt som originalprovet beter sig på en population. Det finns exempel där denna princip misslyckas. Det är viktigt att veta att bootstrap är inte svaret på alla statistiska problem.

Här finns fantastiska länkar till alla böcker jag nämnde och mer.

Matematisk statistik med omprovtagning och R

Bootstrap Methods and their Application

Bootstrap Methods: A Guide for Practitioners and Researchers

En introduktion till Bootstrap-metoder med applikationer till R

Omsamplingsmetoder för beroende data

Randomization, Bootstrap och Monte Carlo Methods i biologi

En introduktion till Bootstrap

Övningen med affärsstatistik Companion kapitel 18: Bootstrap Methods and Permutation Tests

Data Analysis by Resampling: Concepts and Applications

Jackknife, Bootstrap och andra samplingsplaner

Jackknife and Bootstrap

Permutation, Parametriska och Bootstrap-tester av hypoteser

Bootstrap och Edgeworth Expansion

Genom bootstrapping tar du helt enkelt prover om och om igen från samma grupp av data (dina provdata) för att uppskatta hur korrekt dina uppskattningar om hela befolkningen (vad som verkligen finns där ute i den verkliga världen) är.

Om du skulle ta ett prov och göra uppskattningar av den verkliga populationen kanske du inte kunde uppskatta hur korrekt dina uppskattningar är - vi har bara en uppskattning och har inte identifierat hur denna uppskattning varierar med olika prover som vi kanske har stött på.

Med bootstrapping använder vi detta huvudprov för att generera flera prover. Om vi ​​till exempel mäter vinsten varje dag under 1000 dagar kan vi ta slumpmässiga prover från denna uppsättning. Vi kan få vinsten från en slumpmässig dag, registrera den, få vinsten från en annan slumpmässig dag (som kan råka vara samma dag som tidigare - provtagning med ersättning), registrera den och så vidare, tills vi får en "ny" prov på 1000 dagar (från originalprovet).

Detta "nya" prov är inte identiskt med det ursprungliga provet - vi kan faktiskt generera flera "nya" prover som ovan. När vi tittar på variationerna i medelvärdet och uppskattningen kan vi läsa om hur korrekt de ursprungliga uppskattningarna var.

Redigera - som svar på kommentar

De "nyare" proverna är inte identiska med de första och de nya uppskattningarna baserade på dessa kommer att variera. Detta simulerar upprepade prover av befolkningen. Variationerna i uppskattningarna av "nyare" prover som genereras av bootstrap kommer att belysa hur provuppskattningarna skulle variera med tanke på olika prover från befolkningen. Detta är faktiskt hur vi kan försöka mäta noggrannheten hos de ursprungliga uppskattningarna.

I stället för att starta upp kan du istället ta flera nya prover från befolkningen, men det kan vara omöjligt.

Jag inser att det här är en gammal fråga med ett accepterat svar, men jag skulle vilja ge min syn på bootstrap-metoden. Jag är inte på något sätt expert (mer statistikanvändare, som OP) och välkomnar alla korrigeringar eller kommentarer.

Jag gillar att se bootstrap som en generalisering av jackknife-metoden. Så låt oss säga att du har ett prov S i storlek 100 och uppskattar någon parameter med hjälp av en statistik T (S). Nu vill du veta ett konfidensintervall för denna poänguppskattning. Om du inte har en modell och ett analytiskt uttryck för standardfel kan du gå vidare och ta bort ett element från exemplet och skapa ett delprov $ S_i $ med elementet i borttaget. Nu kan du beräkna $ T (S_i) $ och få 100 nya uppskattningar av parametern som du kan beräkna från t.ex. standardfel och skapa ett konfidensintervall. Detta är jackknivmetoden JK-1.

Du kan istället överväga alla delmängder av storlek 98 och få JK-2 (2 element raderade) eller JK-3 etc.

Nu är bootstrap bara en randomiserad version av detta. Genom att göra omprovtagning via markering med ersättare skulle du "radera" ett slumpmässigt antal element (eventuellt inga) och "ersätta" dem med en (eller flera) replikat.

Genom att ersätta med replikat har den samplade datamängden alltid samma storlek. För jackknife kan du fråga vilken effekt jackknifing har på prover av storlek 99 istället för 100, men om provstorleken är "tillräckligt stor" är detta troligen ett problem.

I jackknife blandar du aldrig delete-1 och delete-2 etc, för att se till att de jackade uppskattningarna är från prover av samma storlek.

Du kan också överväga att dela upp provet av storlek 100 i t.ex. 10 prover av storlek 10. Detta skulle i vissa teoretiska aspekter vara renare (oberoende delmängder) men minskar provstorleken (från 100 till 10) så mycket att det är opraktiskt (i de flesta fall).

Du kan också överväga delvis överlappande delmängder av viss storlek. Allt detta hanteras på ett automatiskt och enhetligt och slumpmässigt sätt med bootstrap-metoden.

Vidare ger bootstrap-metoden dig en uppskattning av samplingsfördelningen för din statistik från den empiriska fördelningen av originalprovet, så att du kan analysera ytterligare egenskaper hos statistiken förutom standardfel.

Omformulering av Fox, jag skulle börja med att säga att processen att upprepade gånger sampla ur ditt observerade urval har visat sig efterlikna processen med det ursprungliga urvalet från hela befolkningen.

Ett ändligt urval av populationen approximerar fördelningen på samma sätt som ett histogram approximerar den. Genom omprovtagning ändras varje lagerplatsantal och du får en ny approximation. Stora räknevärden fluktuerar mindre än små räknevärden både i den ursprungliga populationen och i den samplade uppsättningen. Eftersom du förklarar detta för en lekman kan du argumentera för att för stora pappersräkningar är det ungefär kvadratroten av papperskorgen i båda fall.

Om jag hittar $ 20 $ rödhåriga och $ 80 $ andra av ett urval på $ 100 $, omprovtagning skulle uppskatta fluktuationen av rödhåriga som $ \ sqrt {(0,2 \ gånger 0,8) \ gånger 100} $, vilket är precis som att anta att den ursprungliga befolkningen verkligen var distribuerade $ 1: 4 $. Så om vi uppskattar den verkliga sannolikheten som den samplade, kan vi få en uppskattning av samplingsfelet "runt" detta värde.

Jag tycker att det är viktigt att betona att bootstrap inte avslöjar "nya" data, det är bara ett bekvämt, icke parametriskt sätt att ungefär bestämma provet för att provsvängningar om den verkliga sannolikheten ges av den samplade.

Observera att i klassisk inferentiell statistik är den teoretiska enheten som kopplar ett urval till populationen som en god uppskattning av populationen provtagningsfördelningen (alla möjliga prover som kan dras från populationen).Bootstrap-metoden skapar en typ av samplingsfördelning (en distribution baserad på flera prover).Visst, det är en maximal sannolikhetsmetod, men den grundläggande logiken skiljer sig inte så mycket från den traditionella sannolikhetsteorin bakom klassisk normalfördelningsbaserad statistik.

Min poäng är mycket liten.

Bootstrap fungerar för att den beräkningsintensivt utnyttjar huvudförutsättningarna för vår forskningsagenda.

För att vara mer specifik, inom statistik eller biologi, eller de flesta icke-teoretiska vetenskaper, studerar vi individer, därmed samla in prover.

Men från sådana prover vill vi dra slutsatser om andra individer som presenteras för oss i framtiden eller i olika prover.

Med bootstrap, genom att uttryckligen grunda vår modellering på de enskilda komponenterna i vårt urval, kan vi bättre (med färre antaganden, vanligtvis) dra slutsatser och förutsäga för andra individer.

När jag förklarar för nybörjare tror jag att det hjälper att ta ett specifikt exempel ...

Tänk dig att du har ett slumpmässigt urval på 9 mätningar från någon population. Medelvärdet för urvalet är 60. Kan vi vara säkra på att genomsnittet för hela befolkningen också är 60? Uppenbarligen inte för att små prover kommer att variera, så uppskattningen av 60 kommer sannolikt att vara felaktig. För att ta reda på hur mycket exempel som detta kommer att variera kan vi köra några experiment - med en metod som kallas bootstrapping.

Den första siffran i urvalet är 74 och den andra är 65, så låt oss föreställa oss en stor "låtsas" -population som består av en nionde 74-tal, en nionde 65-tal osv. Det enklaste sättet att ta ett slumpmässigt urval från denna population är att ta ett nummer slumpmässigt från urvalet på nio, sedan byta ut det så att du får det ursprungliga urvalet på nio igen och välja ett annat slumpmässigt och så vidare tills du har en "återprov" av 9. När jag gjorde det såg 74 inte ut alls men några av de andra siffrorna dök upp två gånger, och medelvärdet var 54,4. (Detta ställs in i kalkylarket på http://woodm.myweb.port.ac.uk/SL/resample.xlsx - klicka på fliken bootstrap längst ner på skärmen.)

När jag tog 1000 prover på detta sätt varierade deras medel från 44 till 80, med 95% mellan 48 och 72. Vilket antyder att det finns ett fel på upp till 16-20 enheter (44 är 16 under det låtsade populationsmedlet 60, 80 är 20 enheter ovan) vid användning av prover av storlek 9 för att uppskatta populationsmedelvärdet. och att vi kan vara 95% säkra på att felet blir 12 eller mindre. Så vi kan vara 95% säkra på att befolkningens medelvärde kommer att ligga någonstans mellan 48 och 72.

Det finns ett antal antaganden glansade här, det uppenbara är antagandet att provet ger en användbar bild av befolkningen - erfarenheten visar att detta i allmänhet fungerar bra förutsatt att provet är ganska stort (9 är lite litet men gör det är lättare att se vad som händer). Kalkylarket på http://woodm.myweb.port.ac.uk/SL/resample.xlsx gör att du kan se enskilda prover, plothistogram med 1000 prover, experimentera med större prover etc. Det finnsen mer detaljerad förklaring i artikeln på https://arxiv.org/abs/1803.06214.