Detta är verkligen ett giltigt problem, men det är inte helt rätt.

Om 1 000 000 studier görs och alla nollhypoteser är sanna kommer cirka 50 000 att ha signifikanta resultat vid p < 0,05. Det är vad ett p-värde betyder. Men null är i princip aldrig strikt sant. Men även om vi lossar det till "nästan sant" eller "om rätt" eller något sådant skulle det innebära att de 1 000 000 studierna alla måste handla om saker som

• Förhållandet mellan social trygghet antal och IQ
• Är tårnas längd relaterad till ditt födelsestatus?

och så vidare. Dumheter.

Ett problem är naturligtvis att vi inte vet vilka nollor som är sanna. Ett annat problem är det som @Glen_b nämnde i sin kommentar - fillådeproblemet.

Det är därför jag så mycket gillar Robert Abelsons idéer som han lägger fram i Statistik som principiellt argument . Det vill säga statistiska bevis bör vara en del av ett principiellt argument för varför något är fallet och bör bedömas utifrån MAGIC-kriterierna:

• Storlek: Hur stor är effekten?
• Artikulering: Är den full av "ifs", "ands" och "buts" (det är dåligt)
• Allmänt: Hur omfattar det?
• Intressanta ​​li >
• Trovärdighet: Otroliga påståenden kräver mycket bevis

Är inte alla undersökningar runt om i världen något som "oändliga apasats" apor?

Kom ihåg att forskare är kritiskt INTE som oändliga apor, för deras forskningsbeteende - särskilt experiment - är allt annat än slumpmässigt. Experiment är (åtminstone tänkt att vara) otroligt noggrant kontrollerade manipulationer och mätningar som bygger på mekaniskt informerade hypoteser som bygger på en stor mängd tidigare forskning. De är inte bara slumpmässiga bilder i mörkret (eller apafingrar på skrivmaskiner).

Tänk på att det finns 23887 universitet i världen. Om varje universitet har 1000 studenter är det 23 miljoner studenter varje år. Låt oss säga att varje student gör minst en undersökning varje år,

Den uppskattningen för antalet publicerade forskningsresultat måste vara långt borta. Jag vet inte om det finns 23 miljoner "universitetsstudenter" (inkluderar det bara universitet eller högskolor också?) I världen, men jag vet att de allra flesta av dem aldrig publicerar några vetenskapliga rön. Jag menar, de flesta av dem är inte vetenskapliga huvudämnen, och även de flesta vetenskapliga huvudämnen publicerar aldrig fynd.

En mer sannolik uppskattning (en del diskussion) för antal vetenskapliga publikationer varje år cirka 1-2 miljoner.

Betyder det inte att även om alla forskningsprover togs från slumpmässig befolkning skulle cirka 5% av dem "avvisa nollhypotesen som ogiltig". Wow. Tänk på det. Det är ungefär en miljon forskningsdokument per år som publiceras på grund av "signifikanta" resultat.

Tänk på att inte all publicerad forskning har statistik där betydelsen är rätt vid värdet p = 0,05. Ofta ser man p-värden som p<0.01 eller till och med p<0.001. Jag vet naturligtvis inte vad "medel" p-värdet är över en miljon papper.

Om det är så det fungerar är det läskigt. Det betyder att mycket av den "vetenskapliga sanningen" som vi tar för givet bygger på ren slumpmässighet.

Tänk också på att forskare verkligen inte ska ta ett litet antal resultat vid p runt 0,05 som "vetenskaplig sanning". Inte ens i närheten. Forskare ska integreras över många studier, som alla har lämplig statistisk kraft, trolig mekanism, reproducerbarhet, effektstorlek etc., och införliva det i en preliminär modell för hur något fenomen fungerar.

Men betyder det att nästan all vetenskap är korrekt? Aldrig. Forskare är mänskliga och blir offer för fördomar, dålig forskningsmetodik (inklusive felaktiga statistiska metoder), bedrägerier, enkla mänskliga fel och otur. Förmodligen mer dominerande i varför en hälsosam del av publicerad vetenskap är fel är dessa faktorer snarare än konventionen p<0.05. I själva verket låt oss bara klippa rätt till jakten och göra ett ännu "skrämmande" uttalande än vad du har lagt fram:

Varför de mest publicerade forskningsresultaten är falska

Din förståelse av $ p $ -värden verkar vara korrekt.

Liknande farhågor uttrycks ganska ofta. Det som är vettigt att beräkna i ditt exempel är inte bara antalet studier av 23 miljoner som kommer till falska positiva resultat utan också andelen studier som fick signifikant effekt som var falska. Detta kallas "falsk upptäckt". Det är inte lika med $ \ alpha $ och beror på olika andra saker som t.ex. andelen nollar i dina 23 miljoner studier. Detta är naturligtvis omöjligt att veta, men man kan gissa. Vissa säger att den falska upptäckten är minst 30%.

Se t.ex. den här senaste diskussionen av ett papper från 2014 av David Colquhoun: Förvirring med falsk upptäckt och multipeltestning (på Colquhoun 2014). Jag har argumenterat där mot denna "åtminstone 30%" uppskattning, men jag håller med om att falsk upptäckt i vissa forskningsområden kan vara mycket högre än 5%. Detta är verkligen oroande.

Jag tror inte att det att säga att null nästan aldrig är sant hjälper här; Typ S- och typ M-fel (som introducerats av Andrew Gelman) är inte mycket bättre än typ I / II-fel.

Jag tror vad det egentligen betyder är att man borde aldrig lita på ett isolerat "signifikant" resultat.

Detta är till och med sant i högenergifysik med deras superstränga $ \ alpha \ approx 10 ^ {- 7} $ -kriterium; vi tror upptäckten av Higgs-bosonen delvis för att den passar så bra till teoriprognosen. Detta är naturligtvis mycket mycket mer i vissa andra discipliner med mycket lägre konventionella betydelseskriterier ($ \ alpha = 0,05 $) och brist på mycket specifika teoretiska förutsägelser.

Bra studier, åtminstone inom mitt område, rapporterar inte ett isolerat $ p<0.05 $ resultat. Ett sådant resultat måste bekräftas av en annan (åtminstone delvis oberoende) analys och av ett par andra oberoende experiment. Om jag tittar på de bästa studierna inom mitt område ser jag alltid en hel massa experiment som tillsammans pekar på ett visst resultat; deras "kumulativa" $ p $ -värde (som aldrig beräknas uttryckligen) är mycket lågt.

För att uttrycka det annorlunda, tror jag att om en forskare får $ $ p<0.05 $, betyder det bara att han eller hon skulle gå och undersöka det vidare. Det betyder definitivt inte att det ska betraktas som "vetenskaplig sanning".

Din oro är precis den oro som ligger till grund för en stor del av den nuvarande vetenskapliga diskussionen om reproducerbarhet. Det verkliga läget är dock lite mer komplicerat än du föreslår.

Låt oss först skapa en terminologi. Nullhypotes-betydelsestest kan förstås som ett signaldetekteringsproblem - nollhypotesen är antingen sant eller falskt och du kan antingen välja att avvisa eller behålla den. Kombinationen av två beslut och två möjliga "sanna" situationer resulterar i följande tabell, som de flesta människor ser någon gång när de först lär sig statistik:

Forskare som använder nollhypotes-betydelsestest försöker maximera antalet korrekta beslut (visas i blått) och minimera antalet felaktiga beslut (visas i rött). Arbetande forskare försöker också publicera sina resultat så att de kan få jobb och utveckla sin karriär.

Naturligtvis, kom ihåg att, som många andra svarare redan har nämnt, är nollhypotesen inte vald vid slumpmässigt - istället väljs det vanligtvis specifikt för att forskaren, baserat på tidigare teori, anser att den är falsk . Tyvärr är det svårt att kvantifiera hur många gånger forskare har rätt i sina förutsägelser, men kom ihåg att när forskare har att göra med kolumnen "$ H_0 $ är falsk" borde de vara oroliga för falska negativa snarare än falska positiva.

Du verkar dock vara bekymrad över falska positiva, så låt oss fokusera på kolumnen "$ H_0 $ är sant". I denna situation, vad är sannolikheten för att en forskare publicerar ett falskt resultat?

Publikationsbias

Så länge som sannolikheten för publicering inte beror på om resultatet är "signifikant" är sannolikheten exakt $ \ alpha $ - .05, och ibland lägre beroende på fältet. Problemet är att det finns goda bevis för att sannolikheten för publicering inte beror på om resultatet är signifikant (se till exempel Stern & Simes, 1997; Dwan et al., 2008), antingen för att forskare bara lämnar signifikanta resultat för publicering (det så kallade fil-lådproblemet; Rosenthal, 1979) eller för att icke-signifikanta resultat lämnas in för publicering men gör det inte genom peer review.

Den allmänna frågan om sannolikheten för publicering beroende på den observerade $ p $ -värdet är vad som menas med publikationsbias . Om vi ​​tar ett steg tillbaka och tänker på konsekvenserna av publikationsbias för en bredare forskningslitteratur, kommer en forskningslitteratur som påverkas av publikationsbias fortfarande att innehålla verkliga resultat - ibland den nollhypotes som en forskare hävdar att vara falsk kommer verkligen att vara falsk, och beroende på graden av publikationsfördomar, ibland kommer en forskare att korrekt hävda att en given nullhypotes är sant. Forskningslitteraturen kommer emellertid också att vara rörig av en alltför stor andel av falska positiva (dvs. studier där forskaren hävdar att nollhypotesen är falsk när den verkligen är sant).

Forskare frihetsgrader

Publikationsbias är inte det enda sättet att sannolikheten att publicera ett betydande resultat under nollhypotesen är större än $ \ alpha $. När de används felaktigt kan vissa områden med flexibilitet i utformningen av studier och analys av data, som ibland är märkta forskare grader av frihet ( Simmons, Nelson, & Simonsohn, 2011), öka frekvensen av falska positiva, även om det inte finns någon publikationsbias. Om vi ​​till exempel antar att alla (eller vissa) forskare, när vi får ett icke-signifikant resultat, kommer att utesluta en avlägsen datapunkt om denna uteslutning kommer att ändra det icke-signifikanta resultatet till ett signifikant, kommer frekvensen av falska positiva att vara större än $ \ alpha $. Med tanke på närvaron av ett tillräckligt stort antal tvivelaktiga forskningsmetoder kan frekvensen av falska positiva gå så högt som .60 även om den nominella frekvensen sattes till 0,05 ( Simmons, Nelson, & Simonsohn, 2011).

Det är viktigt att notera att felaktig användning av forskares grader av frihet (som ibland kallas tvivelaktiga forskningsmetoder; Martinson, Anderson, & de Vries, 2005 ) är inte samma som att skapa data. I vissa fall är det rätta att utesluta avvikare, antingen på grund av att utrustningen misslyckas eller av någon annan anledning. Nyckelfrågan är att de beslut som fattas under analysen i närvaro av forskarnas frihetsgrader ofta beror på hur uppgifterna blir ( Gelman & Loken, 2014), även om forskarna i fråga är inte är medveten om detta faktum. Så länge forskare använder forskarnivåer av frihet (medvetet eller omedvetet) för att öka sannolikheten för ett signifikant resultat (kanske för att signifikanta resultat är mer "publicerbara"), kommer närvaron av forskargrader att överbefolka en forskningslitteratur med falska positiva effekter i på samma sätt som publikationsbias.

En viktig varning för ovanstående diskussion är att vetenskapliga artiklar (åtminstone inom psykologi, som är mitt område) sällan består av enstaka resultat. Mer vanligt är flera studier, var och en involverar flera tester - tonvikten ligger på att bygga ett större argument och utesluta alternativa förklaringar för det presenterade beviset. Den selektiva presentationen av resultat (eller närvaron av forskarens frihetsgrader) kan emellertid ge bias i en uppsättning resultat lika enkelt som ett enda resultat. Det finns bevis för att resultaten som presenteras i multistudier ofta är mycket renare och starkare än man kan förvänta sig även om alla förutsägelser i dessa studier var sanna ( Francis, 2013).

Slutsats>

I grund och botten håller jag med din intuition om att nollhypotesens betydelsestest kan gå fel. Jag skulle emellertid hävda att de verkliga synderna som producerar en hög grad av falska positiva är processer som publikationsbias och närvaron av forskargrader. Faktum är att många forskare är väl medvetna om dessa problem och att förbättra den vetenskapliga reproducerbarheten är ett mycket aktivt aktuellt diskussionsämne (t.ex. Nosek & Bar-Anan, 2012; Nosek, Spies, & Motyl , 2012). Så du är i gott sällskap med dina bekymmer, men jag tror också att det också finns skäl till viss försiktig optimism.

Referenser

Stern, JM, & Simes, RJ (1997). Publikationsbias: Bevis på försenad publicering i en kohortstudie av kliniska forskningsprojekt. BMJ, 315 (7109), 640–645. http://doi.org/10.1136/bmj.315.7109.640

Dwan, K., Altman, DG, Arnaiz, JA, Bloom, J., Chan, A ., Cronin, E., ... Williamson, PR (2008). Systematisk granskning av empiriska bevis för bias i studiepublikationer och resultatrapportering. PLoS ONE, 3 (8), e3081. http://doi.org/10.1371/journal.pone.0003081

Rosenthal, R. (1979). Fillådans problem och tolerans för nollresultat. Psychological Bulletin, 86 (3), 638–641. http://doi.org/10.1037/0033-2909.86.3.638

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). Falsk-positiv psykologi: Oupptäckt flexibilitet i datainsamling och analys gör det möjligt att presentera någonting så viktigt. Psykologisk vetenskap, 22 (11), 1359–1366. http://doi.org/10.1177/0956797611417632

Martinson, B. C., Anderson, M. S., & de Vries, R. (2005). Forskare beter sig dåligt. Natur, 435, 737–738. http://doi.org/10.1038/435737a

Gelman, A., & Loken, E. (2014). Den statistiska krisen inom vetenskapen. American Scientist, 102, 460-465.

Francis, G. (2013). Replikering, statistisk konsistens och publikationsbias. Journal of Mathematical Psychology, 57 (5), 153–169. http://doi.org/10.1016/j.jmp.2013.02.003

Nosek, B. A., & Bar-Anan, Y. (2012). Vetenskaplig utopi: I. Inledande vetenskaplig kommunikation. Psykologisk undersökning, 23 (3), 217–243. http://doi.org/10.1080/1047840X.2012.692215

Nosek, B. A., Spies, J. R., & Motyl, M. (2012). Vetenskaplig utopi: II. Omstruktureringsincitament och metoder för att främja sanning över publiceringsbarhet. Perspectives on Psychological Science, 7 (6), 615–631. http://doi.org/10.1177/1745691612459058

En viktig kontroll av den viktiga frågan som tas upp i denna fråga är att "vetenskaplig sanning" inte baseras på enskilda, isolerade publikationer. Om ett resultat är tillräckligt intressant kommer det att uppmana andra forskare att följa konsekvenserna av resultatet. Det arbetet tenderar att bekräfta eller motbevisa det ursprungliga resultatet. Det kan finnas en 1/20 chans att avvisa en sann nullhypotes i en enskild studie, men bara en 1/400 av att göra det två gånger i rad.

Om forskare helt enkelt upprepade experiment tills de hittar " betydelse "och publicerade sedan sina resultat kan problemet vara så stort som OP föreslår. Men det är inte så vetenskapen fungerar, åtminstone i min nästan 50 års erfarenhet av biomedicinsk forskning. Vidare handlar en publik sällan om ett enda "signifikant" experiment utan baseras snarare på en uppsättning interrelaterade experiment (var och en måste vara "signifikant" ensam) som tillsammans ger stöd för en bredare, materiell hypotes. p>

Ett mycket större problem kommer från forskare som är alltför engagerade i sina egna hypoteser. De kan då övertolka konsekvenserna av enskilda experiment för att stödja deras hypoteser, engagera sig i tvivelaktig dataredigering (som att godtyckligt avlägsna outliers), eller (som jag har sett och hjälpt till att fånga) bara göra upp data.

Vetenskap är dock en mycket social process, oavsett mytologin om galna forskare som gömmer sig högt uppe i elfenbenstorn. Ge och ta bland tusentals forskare som bedriver sina intressen, baserat på vad de har lärt sig av andras arbete, är det ultimata institutionella skyddet mot falska positiva effekter. Ibland kan falska upptäckter förbli i flera år, men om en fråga är tillräckligt viktig kommer processen så småningom att identifiera de felaktiga slutsatserna.

Bara för att lägga till diskussionen är här ett intressant inlägg och efterföljande diskussion om hur människor ofta missförstår p-värde.

Vad som bör hållas i alla fall är att ett p-värde bara är ett mått på bevisens styrka för att avvisa en given hypotes. Ett p-värde är definitivt inte en hård tröskel under vilken något är "sant" och över vilket det bara beror på slumpen. Som förklaras i det inlägg som det hänvisas till ovan:

resultat är en kombination av verkliga effekter och slump, det är inte antingen / eller

Som också påpekats i de andra svaren kommer detta bara att orsaka problem om du selektivt kommer att överväga de positiva resultaten där nollhypotesen utesluts. Det är därför forskare skriver granskningsartiklar där de betraktar tidigare publicerade forskningsresultat och försöker utveckla en bättre förståelse för ämnet baserat på det. Det finns emellertid fortfarande ett problem, vilket beror på den så kallade "publikationsbias", dvs. forskare är mer benägna att skriva upp en artikel om ett positivt resultat än om ett negativt resultat, även en artikel om ett negativt resultat är mer benägna att bli avvisade för publicering än en artikel om ett positivt resultat.

Speciellt inom områden där statistiskt test är mycket viktigt kommer detta att vara ett stort problem, medicinområdet är ett ökänt exempel. Det var därför det gjordes obligatoriskt att registrera kliniska prövningar innan de genomförs (t.ex. här). Så du måste förklara inställningen, hur den statistiska analysen ska utföras, etc. etc. innan rättegången börjar. De ledande medicinska tidskrifterna kommer att vägra att publicera artiklar om de försök de rapporterar om inte registreras.

Tyvärr, trots denna åtgärd, fungerar systemet inte så bra.

Detta ligger nära ett mycket viktigt faktum om den vetenskapliga metoden: den betonar förfalskbarhet. Vetenskapens filosofi som är mest populär idag har Karl Poppers koncept om förfalskbarhet som en hörnsten.

Den grundläggande vetenskapliga processen är alltså:

• Vem som helst kan göra anspråk på vilken teori de vill när som helst. Vetenskapen kommer att erkänna alla teorier som är "förfalskningsbara". Den mest bokstavliga betydelsen av det ordet är att, om någon annan inte gillar påståendet, är den personen fri att spendera resurserna för att motbevisa påståendet. Om du inte tror att argyle-strumpor botar cancer är du fri att använda din egen medicinska avdelning för att motbevisa den.

• Eftersom detta fält för entré är monumentalt lågt är det traditionellt att "vetenskap" som en kulturell grupp inte kommer att underhålla någon idé förrän du har gjort ett "bra försök" för att förfalska din egen teori.

• Accept av idéer tenderar att gå in steg. Du kan få ditt koncept i en tidningsartikel med en studie och ett ganska lågt p-värde. Det som köper dig är publicitet och viss trovärdighet. Om någon är intresserad av din idé, till exempel om din vetenskap har tekniska tillämpningar, kanske de vill använda den. Vid den tiden är det mer sannolikt att de finansierar en ytterligare förfalskningsrunda.

• Denna process fortsätter, alltid med samma inställning: tro vad du vill, men att kalla det vetenskap måste jag kunna motbevisa det senare.

Denna låga stapel för inträde är det som gör att den kan vara så innovativ. Så ja, det finns ett stort antal teoretiskt "felaktiga" tidskriftsartiklar där ute. Nyckeln är dock att varje publicerad artikel är i teorin förfalskbar, så när som helst kan någon spendera pengarna för att testa dem.

Detta är nyckeln: tidskrifter innehåller inte bara saker som klarar ett rimligt p-test, men de innehåller också nycklarna för andra att demontera det om resultaten visar sig vara falska.

Är det så som "vetenskap" ska fungera?

Så fungerar många samhällsvetenskaper. Inte så mycket med fysik. Tänk på det här: du skrev din fråga på en dator. Människor kunde bygga dessa komplicerade odjur som kallas datorer med hjälp av kunskapen om fysik, kemi och andra fysiska vetenskapsområden. Om situationen var så dålig som du beskriver skulle ingen av elektroniken fungera. Eller tänk på saker som en elektronmassa, som är känd med vansinnig precision. De passerar miljarder logikgrindar i en dator över en över, och din dator fungerar fortfarande och fungerar i flera år.

UPPDATERING: För att svara på de nedröster jag fick kände jag mig inspirerad att ge dig ett par av exempel.

Den första är från fysik: Bystritsky, VM, et al. " Mätning av de astrofysiska S-faktorerna och tvärsnitten av p (d, γ) 3He-reaktionen i ultralåg energiregion med användning av ett zirkonium-deuteridmål." Partikelfysik och kärnkraftsbokstäver 10.7 (2013): 717-722.

Som jag skrev tidigare låtsar dessa fysiker inte ens göra någon statistik utöver beräkning av standardfelen. Det finns en massa grafer och tabeller, inte ett enda p-värde eller till och med konfidensintervall. Det enda beviset på statistik är exempelvis standardfelanteckningarna som $ 0,237 \ pm 0,061 $.

Mitt nästa exempel är från ... psykologi: Paustian-Underdahl, Samantha C., Lisa Slattery Walker och David J. Woehr. " Kön och uppfattningar om ledarskapseffektivitet: En metaanalys av kontextuella moderatorer." Journal of Applied Psychology, 2014, Vol. 99, nr 6, 1129 –1145.

Dessa forskare har alla vanliga misstänkta: konfidensintervall, p-värden, $ \ chi ^ 2 $ etc.

Titta nu på några tabeller från papper och gissa vilka papper de är från:

Det är svaret varför i ett fall behöver du "cool" statistik och i ett annat inte: för att uppgifterna är antingen skit eller inte. När du har bra data behöver du inte mycket statistik utöver standardfel.

UPDATE2: @ PatrickS.Forscher gjorde ett intressant uttalande i kommentaren:

Det är också sant att samhällsvetenskapsteorier är "mjukare" (mindre formella) än fysikteorier.

Jag måste inte hålla med. Inom ekonomi och finans är teorierna inte alls "mjuka". Du kan slumpmässigt slå upp ett papper i dessa fält och få något liknande:

och så vidare.

Det är från Schervish, Mark J. , Teddy Seidenfeld och Joseph B. Kadane. " Utvidgningar av förväntad nytteteori och vissa begränsningar av parvisa jämförelser." (2003). Ser det här mjukt ut för dig?

Jag upprepar min poäng här att när dina teorier inte är bra och data är skit, kan du använda den svåraste matematiken och ändå få ett skitresultat.

I den här artikeln talar de om verktyg, konceptet som lycka och tillfredsställelse - absolut inte observerbart. Det är som vad är ett nytta av att ha ett hus kontra att äta en ostburgare? Förmodligen finns det den här funktionen, där du kan ansluta "äta ostburgare" eller "bo i eget hus" och funktionen kommer att spotta ut svaret i vissa enheter. Så galet som det låter så är det vad modern eknomik bygger på, tack till von Neuman.