Jag tror att boostrap är det bästa alternativet för att få robusta SE-företag. Detta gjordes i en del tillämpat arbete med krympningsmetoder, t.ex. Analys av nordamerikanska Reumatoid Arthritis Consortium-data med hjälp av en bestraffad logistisk regressionsmetod (BMC Proceedings 2009). Det finns också ett trevligt papper från Casella om SE-beräkning med bestraffad modell, Penaliserad regression, standardfel och Bayesian Lassos (Bayesian Analysis 2010 5 (2)). Men de är mer intresserade av lasso och elasticnet straff.

Jag har alltid tänkt på åsenregression som ett sätt att få bättre förutsägelser än vanliga OLS, där modellen är vanligtvis inte parcimonious. För variabelval är kriterierna lasso eller elasticnet mer lämpliga, men då är det svårt att tillämpa en bootstrap-procedur (eftersom valda variabler skulle ändras från ett exempel till ett annat, och även i den inre $ k $ -viktslingan som används för att optimera parametrarna $ \ ell_1 $ / $ \ ell_2 $); detta är inte fallet med åsenregression, eftersom du alltid beaktar alla variabler.

Jag har ingen aning om R-paket som skulle ge denna information. Det verkar inte finnas tillgängligt i paketet glmnet (se Friedmans tidning i JSS, Regularization Paths for Generalized Linear Models via Coordinate Descent). Dock, Jelle Goeman som författare paketet bestraffat diskuterar också denna punkt. Det går inte att hitta den ursprungliga PDF-filen på webben, så jag citerar bara hans ord:

Det är en mycket naturlig fråga att be om standardfel i regressionskoefficienter eller andra uppskattade kvantiteter. I princip kan sådana standardfel lätt beräknas, t.ex. med hjälp av bootstrap.

Ändå tillhandahåller detta paket medvetet inte dem. Anledningen till detta är att standardfel inte är så meningsfulla för starkt partiska uppskattningar som uppstår från bestraffade uppskattningsmetoder. Penaliserad uppskattning är ett förfarande som minskar uppskattningsvariansen genom att införa väsentlig förspänning. Bias för varje uppskattare är därför en viktig komponent i dess medelkvadratfel, medan dess avvikelse bara kan bidra med en liten del.

Tyvärr är det i de flesta tillämpningar av straffad regression omöjligt att få en tillräckligt exakt uppskattning av bias. Alla bootstrap-baserade beräkningar kan bara ge en bedömning av variansen av uppskattningarna. Pålitliga uppskattningar av förspänningen är endast tillgängliga om pålitliga opartiska uppskattningar finns tillgängliga, vilket vanligtvis inte är fallet i situationer där bestraffade uppskattningar används.

Att rapportera ett standardfel i en bestraffad uppskattning berättar därför endast en del av berättelsen. Det kan ge ett felaktigt intryck av stor precision och helt ignorera den felaktighet som orsakas av partiskheten. Det är verkligen ett misstag att göra förtroendeförklaringar som bara baseras på en bedömning av variansen av uppskattningarna, som bootstrap-baserade konfidensintervall gör.

Om man antar att datagenereringsprocessen följer standardantagandena bakom OLS ges standardfelen för åsregression av:

$ \ sigma ^ 2 (A ^ TA + \ Gamma ^ T \ Gamma) ^ {-1} A ^ TA (A ^ TA + \ Gamma ^ T \ Gamma) ^ {- 1} $

Notationen ovan följer wiki-notationen för åsregression. Närmare bestämt är

$ A $ den samvarierande matrisen,

$ \ sigma ^ 2 $ är felvariansen.

$ \ Gamma $ är Tikhonov-matrisen väljs på lämpligt sätt i åsenregression.

Ridge regression är en delmängd av Tikhonov-regularisering (Tk) som normaliserar utjämningsfaktorerna. Den mer generella regleringsperioden $ \ Gamma ^ T \ Gamma $ ersätts i åsenregression med $ \ text {$ \ lambda $ I} $, där $ \ text {I} $ är identitetsmatrisen och $ \ lambda $ är en Lagrange (dvs. begränsning) multiplikator, även kallad utjämning, krympning, Tikhonov eller dämpningsfaktor . Både Tk och åsen regression används för att lösa dåliga integraler och andra omvända problem. "Ett omvänt problem inom vetenskapen är att beräkna kausalfaktorerna som producerade dem från en uppsättning observationer: till exempel att beräkna en bild i datortomografi, källa rekonstruera i akustik eller beräkna jordens densitet från mätningar av dess gravitation fält. här "SPSS innehåller kompletterande kod som ger standardavvikelsen för alla parametrar och ytterligare parametrar kan härledas med hjälp av felutbredning som i bilagan till detta papper.

Det som i allmänhet missförstås med Tikhonovs regelbundenhet är att mängden utjämning har väldigt lite att göra med att anpassa kurvan. Utjämningsfaktorn bör användas för att minimera felet i parametrarna av intresse. Du måste förklara mycket mer om det specifika problemet du försöker lösa för att använda åsenregression ordentligt i något giltigt omvänd problemkontext, och många av artiklarna om val av utjämningsfaktorer och många av de publicerade användningarna av Tikhonov-reglering är lite heuristisk.

Dessutom är Tikhonov-regularisering bara en omvänd problembehandling bland många. Följ länken till tidskriften Inverse Problems.