Hur vet du att SVD och NMF är överlägset de mest använda matrisnedbrytningarna snarare än LU, Cholesky och QR? Min personliga favorit "genombrott" måste vara den garanterade rank-avslöjande QR-algoritmen,

• Chan, Tony F. "Rank avslöjande QR-faktoriseringar". Linjär algebra och dess tillämpningar Volymer 88-89, april 1987, sidorna 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... en utveckling av den tidigare idén om QR med kolumnvridning:

• Businger, Peter; Golub, Gene H. (1965). Linjära lösningar med minsta kvadrat genom hushållsförändringar. Numerische Mathematik Volym 7, nummer 3, 269-276, DOI: 10.1007 / BF01436084

A ( the ?) klassisk lärobok är:

• Golub, Gene H .; Van Loan, Charles F. (1996). Matrix Computations (3: e upplagan), Johns Hopkins, ISBN 978-0-8018-5414-9.

(jag vet du bad inte om läroböcker men jag kan inte motstå)

Redigera: Lite mer googling hittar ett papper vars abstrakt antyder att vi kan vara något vid tumlare. Min ovanstående text kom från ett "numeriskt linjärt algebra" -perspektiv; kanske du är mer bekymrad över ett '' tillämpad statistik / psykometri '' (AS / P) perspektiv? Kan du kanske förtydliga?

• Lawrence Hubert, Jacqueline Meulman och Willem Heiser. Två syften för matrisfaktorisering: En historisk utvärdering. SIAM Review Vol. 42, nr 1 (mars 2000), s. 68-82

För NNMF beskriver Lee och Seung en iterativ algoritm som är mycket enkel att implementera. Egentligen ger de två liknande algoritmer, en för att minimera Frobenius norm för rest, den andra för att minimera Kullback-Leibler Divergens av approximationen och originalmatrisen.

• Daniel Lee, H. Sebastian Seung, Algoritmer för icke-negativ matrisfaktorisering, Framsteg inom system för neurologisk informationsbehandling 13: Proceedings of the 2000 Conference. MIT Tryck. s. 556–562.

Kanske kan du hitta intressanta

1. [Learning with Matrix Factorizations] Doktorsavhandling av Nathan Srebro,
2. [Undersökning av olika matrisfaktoriseringsmetoder för stora rekommenderingssystem], Gábor Takács et.al. och nästan samma teknik som beskrivs här

De två sista länkarna visar hur glesa matrisfaktoriseringar används i Collaborative Filtering. Jag tror dock att SGD-liknande faktoriseringsalgoritmer kan vara användbara någon annanstans (åtminstone är de extremt enkla att koda)

Witten, Tibshirani - Penaliserad matrisnedbrytning

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - Randomized SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Vid årets NIPS fanns ett kort papper om distribuerad, mycket storskalig SVD som fungerar i ett enda pass över en strömmande ingångsmatris.

Papperet är mer implementeringsorienterat men sätter saker i perspektiv med riktiga väggurstider och allt. Tabellen nära början är också en bra undersökning.