För Pearson-korrelationskoefficienter är det i allmänhet lämpligt att transformera r -värdena med en Fisher z -transformation. Genomsnitt sedan z -värdena och konvertera genomsnittet tillbaka till ett r värde.

Jag antar att det också skulle vara bra för en Spearman-koefficient.

Här är ett papper och wikipedia -posten.

Det enkla sättet är att lägga till en kategorisk variabel $ z $ för att identifiera de olika experimentella förhållandena och inkludera den i din modell tillsammans med en "interaktion" med $ x $; det vill säga $ y \ sim z + x \ # z $. Detta genomför alla fem regressionerna på en gång. Dess $ R ^ 2 $ är vad du vill ha.

För att se varför genomsnittet av enskilda $ R $ -värden kan vara fel, antar att riktningen för lutningen är omvänd under några av de experimentella förhållandena. Du skulle i genomsnitt ha en massa 1 och -1 ut till cirka 0, vilket inte skulle återspegla kvaliteten på något av passningarna. För att se varför ett genomsnitt av $ R ^ 2 $ (eller någon fast omvandling därav) inte är rätt, antag att du under de flesta experimentella förhållanden bara hade två observationer, så att deras $ R ^ 2 $ alla är lika med $ 1 $, men i ett experiment du hade hundra observationer med $ R ^ 2 = 0 $. Det genomsnittliga $ R ^ 2 $ på nästan 1 skulle inte återspegla situationen korrekt.

Den genomsnittliga korrelationen kan vara meningsfull. Tänk också på fördelningen av korrelationer (till exempel, plotta ett histogram).

Men som jag förstår det, för varje individ har du någon ranking på $ n $ artiklar plus förutsagda rankningar av dessa för den personen och du tittar på korrelationen mellan individens ranking och de förutsagda.

I det här fallet kan det hända att korrelationen inte är det bästa måttet på hur bra algoritmen gör förutsägelser. Tänk dig till exempel att algoritmen får de första 100 artiklarna perfekt och de nästa 200 artiklarna helt trasslade, motsatt. Det kan vara så att du bara bryr dig om kvaliteten på topprankingen. I det här fallet kan du titta på summan av de absoluta skillnaderna mellan individens ranking och den förutsagda rankningen, men bara bland individens bästa $ m $ -objekt.

Vad sägs om att använda medelkvadratförutsedd eror (MSPE) för algoritmens prestanda? Detta är ett vanligt tillvägagångssätt för vad du försöker göra, om du försöker jämföra prediktiv prestanda mellan en uppsättning algoritmer.