Jag tror att detta tillvägagångssätt är felaktigt, men kanske kommer det att vara mer användbart om jag förklarar varför. Att vilja veta den bästa modellen med viss information om ett stort antal variabler är ganska förståeligt. Dessutom är det en situation där människor verkar befinna sig regelbundet. Dessutom omfattar många läroböcker (och kurser) om regression stegvisa urvalsmetoder, vilket innebär att de måste vara legitima. Tyvärr är de inte det, och parningen av denna situation och mål är ganska svår att navigera framgångsrikt. Följande är en lista med problem med automatiserade stegvisa modellvalsförfaranden (tillskrivna Frank Harrell och kopieras från här):

1. Det ger R-kvadrat värden som är dåligt förspända för att vara höga.
2. F- och chi-kvadrat-testerna som citeras bredvid varje variabel på utskriften har inte den anspråkade fördelningen.
3. Metoden ger konfidensintervall för effekter och förutspådda värden som är falskt smala; se Altman och Andersen (1989).
4. Det ger p-värden som inte har rätt betydelse, och rätt korrigering för dem är ett svårt problem.
5. Det ger partisk regression koefficienter som behöver krympas (koefficienterna för kvarvarande variabler är för stora; se Tibshirani [1996]).
6. Det har allvarliga problem i närvaro av kollinearitet.
7. Det bygger på metoder (t.ex. F-test för kapslade modeller) som var avsedda att användas för att testa förutbestämda hypoteser.
8. Att öka provstorleken hjälper inte särskilt mycket; se Derksen och Keselman (1992).
9. Det gör att vi inte kan tänka på problemet.
10. Det använder mycket papper.

Frågan är, vad är så dåligt med dessa procedurer / varför uppstår dessa problem? De flesta som har gått en grundläggande regressionskurs är bekanta med begreppet regression till medelvärdet, så det här är vad jag använder för att förklara dessa frågor. (Även om det här kan tyckas att det inte är ämne, bör du hålla med mig, jag lovar att det är relevant.)

Föreställ dig en spårtränare på gymnasiet den första dagen i försöken. Trettio barn dyker upp. Dessa barn har någon underliggande nivå av inneboende förmåga som varken tränaren eller någon annan har direkt tillgång till. Som ett resultat gör tränaren det enda han kan göra, det vill säga att de alla kör 100 meter. Tiderna är förmodligen ett mått på deras inneboende förmåga och tas som sådana. De är dock sannolika; en viss andel av hur bra någon gör är baserat på deras faktiska förmåga och en del är slumpmässig. Föreställ dig att den verkliga situationen är följande:

  set.seed (59) intrinsic_ability = runif (30, min = 9, max = 10) time = 31 - 2 * intrinsic_ability + rnorm (30 , medelvärde = 0, sd = .5)  

Resultaten från första loppet visas i följande figur tillsammans med tränarens kommentarer till barnen.

Observera att partitionering av barnen efter deras tävlingstider lämnar överlappningar på deras inneboende förmåga - detta är avgörande. Efter att ha berömt några och skrek åt andra (som tränare tenderar att göra), får han dem att springa igen. Här är resultatet av den andra loppet med tränarens reaktioner (simulerad från samma modell ovan):

Lägg märke till att deras inneboende förmåga är identisk, men tiderna studsade relativt i förhållande till det första loppet. Från tränarens synvinkel tenderade de som han skrek åt att förbättra sig, och de som han berömde tenderade att göra sämre (jag anpassade detta konkreta exempel från Kahnemans citat som listas på wiki-sidan), även om egentligen regression till medelvärdet är en enkel matematisk konsekvens av det faktum att tränaren väljer idrottare till laget baserat på ett mått som delvis är slumpmässigt.

Vad har detta nu att göra med automatiserade (t.ex. stegvisa) modellvalstekniker? Att utveckla och bekräfta en modell baserad på samma dataset kallas ibland datamuddring . Även om det finns en viss underliggande relation mellan variablerna och starkare förhållanden förväntas ge starkare poäng (t.ex. högre t-statistik), är dessa slumpmässiga variabler och de realiserade värdena innehåller fel. Således, när du väljer variabler baserat på att ha högre (eller lägre) realiserade värden, kan de vara sådana på grund av deras underliggande verkliga värde, fel eller båda. Om du fortsätter på detta sätt blir du lika förvånad som tränaren var efter andra loppet. Detta gäller oavsett om du väljer variabler baserat på hög t-statistik eller låga interkorrelationer. Det är sant att använda AIC är bättre än att använda p-värden, eftersom det straffar modellen för komplexitet, men AIC är i sig en slumpmässig variabel (om du kör en studie flera gånger och passar samma modell kommer AIC att studsa runt precis som allt annat). Tyvärr är detta bara ett problem som är inneboende för själva verklighetens epistemiska natur.

Jag hoppas att det är till hjälp.

Kolla in paketet caret i R. Det hjälper dig att korsvalidera stegvisa regressionsmodeller (använd method = 'lmStepAIC' eller method = 'glmStepAIC' ), och kan hjälpa dig att förstå hur den här typen av modeller tenderar att ha dålig förutsägbar prestanda. Dessutom kan du använda funktionen findCorrelation i caret för att identifiera och eliminera kollinära variabler, och funktionen rfe i caret för att eliminera variabler med låg t-statistik (använd rfeControl = rfeControl (funktioner = lmFuncs) ).

Men som nämnts i föregående svar är det troligt att dessa metoder för variabelval kommer att få dig i trubbel, särskilt om du gör dem iterativt . Se till att du utvärderar dina prestationer i en HELT uthållen testuppsättning. Titta inte ens på testuppsättningen förrän du är nöjd med din algoritm!

Slutligen kan det vara bättre (och enklare) att använda prediktiv modell med "inbyggt" funktionsval, till exempel ås regression, lasso eller det elastiska nätet. Testa specifikt argumentet method = glmnet för caret och jämför den korsvaliderade noggrannheten för den modellen med argumentet method = lmStepAIC . Min gissning är att den förstnämnda kommer att ge dig mycket högre noggrannhet än provet, och du behöver inte oroa dig för att implementera och validera din anpassade algoritm för val av variabel.

Jag instämmer helt i de problem som beskrivs av @gung. Med detta sagt är modellval realistiskt sett ett verkligt problem som behöver en verklig lösning. Här är något jag skulle använda i praktiken.

1. Dela upp dina data i utbildning, validering och testuppsättningar.
2. Träna modeller på din träningssats.
3. Mät modellprestanda på valideringsuppsättningen med hjälp av ett mätvärde som förutsägelse RMSE och välj den modell med lägst förutsägelsesfel.
4. Utforma nya modeller efter behov, upprepa steg 2-3.
5. Rapportera hur bra modellen presterar på testuppsättningen.

För ett exempel på användningen av den här metoden i den verkliga världen tror jag att den användes i Netflix-pristävlingen.

För att svara på frågan finns det flera alternativ:

1. all-subset av AIC / BIC

2. stegvis med p -värde

3. stegvis med AIC / BIC

4. regularisering som LASSO (kan baseras på antingen AIC / BIC eller CV )

5. genetisk algoritm (GA)

6. andra?

7. användning av icke-automatiskt, teori ("ämneskunskap") orienterat urval

Nästa fråga skulle vara vilken metoden är bättre. Denna uppsats (doi: 10.1016 / j.amc.2013.05.016) indikerar att "all möjlig regression" gav samma resultat till den föreslagna nya metoden och stegvis är värre. En enkel GA är mellan dem. Det här dokumentet (DOI: 10.1080 / 10618600.1998.10474784) jämför bestraffad regression (Bridge, Lasso etc) med "språng-och-gränser" (verkar vara en uttömmande sökalgoritm men snabbare) och fann också "bromodellen håller med den bästa modellen från delmängdsvalet med språngmetoden ”. Detta dokument (doi: 10.1186 / 1471-2105-15-88) visar att GA är bättre än LASSO. Detta dokument (DOI: 10.1198 / jcgs.2009.06164) föreslog en metod - i huvudsak en hel delmängd (baserad på BIC) -metod men minskar beräkningstiden på ett smart sätt. De visar att den här metoden är bättre än LASSO. Intressant, detta dokument (DOI: 10.1111 / j.1461-0248.2009.01361.x) visar metoder (1) - (3) ger liknande prestanda.

Så totalt sett är resultaten blandade men jag fick ett intryck att GA verkar väldigt bra även om stegvis kanske inte är så dåligt och det är snabbt.

När det gäller 7), användningen av icke-automatiskt, teori ("ämneskunskap") orienterat urval. Det är tidskrävande och det är inte nödvändigtvis bättre än automatisk metod. Faktum är att i tidsserielitteraturen är det välkänt att automatiserad metod (särskilt kommersiell programvara) överträffar mänskliga experter "med en betydande marginal" (doi: 10.1016 / S0169-2070 (01) 00119-4, sida 561, t.ex. att välja olika exponentiell utjämning och ARIMA-modeller).

Här är ett svar från vänster fält - istället för att använda linjär regression, använd ett regressionsträd (rpart-paket). Detta är lämpligt för automatiskt modellval eftersom du med lite arbete kan automatisera valet av cp, parametern som används för att undvika överpassning.

linjär modell kan optimeras genom att implementera genetisk algoritm för att välja de mest värdefulla oberoende variablerna. Variablerna representeras som gener i algoritmen, och den bästa kromosomen (uppsättningen gener) väljs sedan efter crossover, mutation etc. operatörer. Den är baserad på naturligt urval - då kan bästa "generation" överleva, med andra ord optimerar algoritmen uppskattningsfunktionen som beror på den specifika modellen.

Vi har en funktion i R-basstatistikpaketet, som kallas steg (), vilket gör framåt, bakåt eller stegvis val av modeller baserat på lägsta AIC.Detta fungerar också för faktorvariabler.Serverar inte detta syftet här ?.

Svaren här avråder från variabelt val, men problemet är verkligt ... och fortfarande gjort.En idé som bör prövas mer i praktiken är blinda analyser , som diskuteras i detta naturpapper Blind analys: Dölj resultat för att söka sanningen .

Denna idé har nämnts i ett annat inlägg på denna webbplats, Flera jämförelser och sekundär forskning.Tanken att blända data eller införa extra, simulerade brusvariabler har verkligen använts i simuleringsstudier för att visa problem med stegvis, men tanken här är att använda den, blindad, i verklig dataanalys.

Jag ser att min fråga genererade mycket intresse och en intressant debatt om giltigheten hos den automatiska modellen för val av modell. Även om jag håller med om att det är riskabelt att ta för givet resultatet av ett automatiskt val kan det användas som utgångspunkt. Så här är hur jag implementerade det för mitt specifika problem, det vill säga att hitta de bästa faktorerna för att förklara en viss variabel sortera regressionen efter ett visst kriterium (säg AIC)

Återigen, detta är väldigt grovt, det kan finnas sätt att förbättra metoden, men det är min utgångspunkt. Jag lägger upp det här svaret i hopp om att det kan vara användbart för någon annan. Kommentarer är välkomna!