Tidsserier (eller andra inneboende ordnade data) kan vara problematiska för korsvalidering. Om något mönster dyker upp under år 3 och stannar i åren 4-6 kan din modell ta upp det, även om det inte var en del av år 1 & 2.

En metod som ibland är mer principiell för tidsserier är framåtkedjning, där din procedur skulle vara ungefär så här:

• fold 1: training [1], test [2]
• fold 2: training [ 1 2], test [3]
• vik 3: träning [1 2 3], test [4]
• vik 4: träning [1 2 3 4], test [5 ]
• vik 5: träning [1 2 3 4 5], test [6]

Det modellerar mer exakt den situation du ser vid förutsägelsestid, där du modellerar på tidigare data och förutsäger framåtblickande data. Det ger dig också en känsla av beroendet av din modellering av datastorlek.

Metoden jag använder för att korsvalidera min tidsseriemodell är korsvalidering löpande. Börja med en liten delmängd data för träningsändamål, prognos för de senare datapunkterna och kontrollera sedan noggrannheten för de prognostiserade datapunkterna. Samma prognostiserade datapunkter ingår sedan som en del av nästa träningsdataset och efterföljande datapunkter förutses.

För att göra saker intuitiva är här en bild för samma:

En motsvarande R-kod skulle vara:

  i <- 36 #### Börjar med 3 års månadsvis träningsdata
pred_ets <- c ()
pred_arima <- c ()
medan (i < = nrow (dt)) {
  ts <- ts (dt [1: i, "Belopp"], start = c (2001, 12), frekvens = 12)

  pred_ets <- rbind (pred_ets, data.frame (prognos (ets (ts), 3) $ betyder [1: 3]))
pred_arima <- rbind (pred_arima, data.frame (prognos (auto.arima (ts), 3) $ betyder [1: 3]))

  i = i + 3
}
namn (pred_arima) <- "arima"
namn (pred_ets) <- "ets"

pred_ets <- ts (pred_ets $ ets, start = c (2005, 01), frekvens = 12)
pred_arima <- ts (pred_arima $ arima, start = c (2005, 01), frekvens = 12)

noggrannhet (pred_ets, ts_dt)
noggrannhet (pred_arima, ts_dt)
 

Det "kanoniska" sättet att göra korsvalidering av tidsserier (åtminstone som beskrivs av @Rob Hyndman) är att "rulla" genom datasetet.

ie :

• vik 1: träning [1], test [2]
• vik 2: träning [1 2], test [3]
• veck 3: träning [1 2 3], test [4]
• vik 4: träning [1 2 3 4], test [5]
• vik 5: träning [1 2 3 4 5], test [6]

I grund och botten bör din träningsuppsättning inte innehålla information som inträffar efter testuppsättningen.

Det är inget fel med att använda block med "framtida" data för korsvalidering av tidsserier i de flesta situationer. I de flesta situationer hänvisar jag till modeller för stationär data, vilka är de modeller som vi vanligtvis använder. T.ex. när du passar en $ \ mathit {ARIMA} (p, d, q) $, med $ d>0 $ till en serie, tar du $ d $ skillnader i serien och passar en modell för stationär data till resterna.

För att korsvalidering ska fungera som ett modellvalsverktyg behöver du ungefärligt oberoende mellan träningen och testdata. Problemet med tidsseriedata är att intilliggande datapunkter ofta är mycket beroende, så standardkorsvalidering misslyckas. Åtgärden för detta är att lämna ett gap mellan testprovet och träningsproverna, på båda sidor om testprovet . Anledningen till att du också behöver lämna ett gap innan testprovet är att beroendet är symmetriskt när du går framåt eller bakåt i tiden (tänk på korrelation).

Detta tillvägagångssätt kallas $ hv $ cross validation (lämna $ v $ out, ta bort $ h $ observationer på vardera sidan av testprovet) och beskrivs i detta dokument. I ditt exempel skulle detta se ut så här:

• vik 1: träning [1 2 3 4 5h], test [6]
• vik 2: träning [1 2 3 4h h6], test [5]
• vik 3: träning [1 2 3h h5 6], test [4]
• veck 4: träning [1 2h h4 5 6] , test [3]
• vik 5: träning [1h h3 4 5 6], test [2]
• veck 6: träning [h2 3 4 5 6], test [1 ]

Om h indikerar att h observationer av träningsprovet raderas på den sidan.

Som kommenteras av @thebigdog, "Om användning av korsvalidering för utvärdering av tidsserieprediktorer" av Bergmeir et al. diskuterar korsvalidering inom ramen för stationära tidsserier och fastställer att framåtkedjning (föreslagen av andra svarare) inte hjälper. Observera att framåtkedjning kallas Last-Block Evaluation i detta dokument:

Med hjälp av standard 5-faldig korsvalidering kunde ingen praktisk effekt av beroenden i data hittas angående om det slutliga felet är underskattat eller överskattat. Tvärtom tenderar den senaste blockutvärderingen att ge mindre robusta felmått än korsvalidering och blockerad korsvalidering.

" Utvärdering av prognosmodeller för tidsserier: En empirisk studie om prestationsuppskattningsmetoder" av Cerqueira et al. instämmer i denna bedömning. Men för icke-stationära tidsserier rekommenderar de istället att använda en variant på Hold-Out, kallad Rep-Holdout. I Rep-Holdout väljs en punkt a i tidsserien Y för att markera början på testdata. Poängen a bestäms för att vara inom ett fönster. Detta illustreras i figuren nedan:

Det här ovannämnda dokumentet är långt och testar uttömmande nästan alla andra metoder som nämns i svaren på denna fråga med allmänt tillgänglig kod. Detta inkluderar @Matthias Schmidtblaicher anspråk på att inkludera luckor före och efter testdata. Jag har också bara sammanfattat uppsatsen. Den faktiska slutsatsen av uppsatsen innebär ett beslutsträd för utvärdering av tidsseriemodeller!