Fråga:
Varför är lambda "inom ett standardfel från det minsta" ett rekommenderat värde för lambda i en elastisk nätregression?
jhersh
2015-02-21 02:56:51 UTC
view on stackexchange narkive permalink

Jag förstår vilken roll lambda spelar i en elastisk nätregression. Och jag kan förstå varför man skulle välja lambda.min, värdet på lambda som minimerar korsvaliderat fel.

Min fråga är Var rekommenderas det att använda lambda.1se i statistiklitteraturen, det vill säga värdet på lambda som minimerar CV-fel plus ett standardfel ? Jag verkar inte hitta en formell hänvisning, eller ens en anledning till varför detta ofta är ett bra värde. Jag förstår att det är en mer restriktiv reglering och kommer att krympa parametrarna mer mot noll, men jag är inte alltid säker på under vilka förhållanden lambda.1se är ett bättre val över lambda.min. Kan någon hjälpa till att förklara?

En formell referens finns i Hastie et al.["Elementen för statistiskt lärande"] (https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCsQFjAB&url=http%3A%2F%2Fweb.stanford.edu%2F ~ hastie% 2Flocal.ftp% 2FSpringer% 2FOLD% 2FESLII_print4.pdf & ei = LKPnVPexMoePPZjggPAO & usg = AFQjCNErzfhxNwkcdzGlTve0cKtiwmeZgA & sig2 = khl6VqAfK.
Se https://stats.stackexchange.com/questions/80268.
Två svar:
shadowtalker
2015-02-21 03:42:28 UTC
view on stackexchange narkive permalink

Friedman, Hastie och Tibshirani (2010), med hänvisning till The Elements of Statistical Learning , skriv,

Vi använder ofta "En-standard-fel" regel när du väljer den bästa modellen; detta bekräftar det faktum att riskkurvorna uppskattas med fel, så fel på sidan av parsimon.

Anledningen till att använda ett standardfel, i motsats till andra belopp, verkar vara för det är, ja ... standard. Krstajic, et al (2014) skriv (fet betoning min):

Breiman et al. [25] har funnit i fallet att välja optimal trädstorlek för klassificering av trädmodeller att trädstorleken med minimalt korsvalideringsfel genererar en modell som i allmänhet överträffar. Därför, i avsnitt 3.4.3 i deras bok Breiman et al. [25] definiera en standardfelregel (1 SE-regel) för att välja en optimal trädstorlek, och de implementerar den genom hela boken. För att beräkna standardfelet för enstaka V-korsvalidering, måste noggrannhet beräknas för varje vik, och standardfelet beräknas från V-noggrannhet från varje vik. Hastie et al. [4] definiera 1 SE-regeln som att välja den mest parsimonious modellen vars fel inte är mer än ett standardfel över felet i den bästa modellen, och de föreslår på flera ställen att använda 1 SE-regeln för allmän korsvalideringsanvändning. Huvudpunkten för 1 SE-regeln, som vi håller med om, är att välja den enklaste modellen vars noggrannhet är jämförbar med den bästa modellen .

Förslaget är att valet av ett standardfel är helt heuristiskt, baserat på den känslan att ett standardfel vanligtvis inte är stort i förhållande till intervallet av $ \ lambda $ -värden.

Tack!Nu kan jag äntligen citera något lämpligt när frågan kommer upp för de som inte känner till det "vanliga" valet av lambda.Länken till Krstajic et al ser också bra ut.
Det citatet säger bara "1se befanns vara optimal för ** klassificering **".Men frågan om ** regression **!Det finns alternativ.Om vi försöker t.ex.när vi går tillbaka till 2se får vi problemet att lambda är för stor och krymper koeffterna för mycket.Men vi kunde t.ex.bygg om modellen som exkluderar alla variabler som inte har valts vid lambda.1se i originalmodellen.
@smci vilken citat?Det finns inte i något av de citat jag extraherade, vilket båda antyder att 1-SE-regeln är tillämplig i allmänhet, inte bara i klassificering.
civilstat
2016-11-26 22:53:50 UTC
view on stackexchange narkive permalink

Breiman et al.s bok (citerad i det andra svarets citat från Krstajic) är den äldsta referensen jag hittat för 1SE-regeln.

Detta är Breiman, Friedman, Stone och Olshens Klassificering och regressionsträd (1984).De "härleder" denna regel i avsnitt 3.4.3.

Så om du behöver en formell hänvisning verkar det vara den ursprungliga källan.



Denna fråga och svar översattes automatiskt från det engelska språket.Det ursprungliga innehållet finns tillgängligt på stackexchange, vilket vi tackar för cc by-sa 3.0-licensen som det distribueras under.
Loading...