Schrumpfung der Eigenwerte

Angenommen , wir haben Proben die unabhängig und identisch mit dem Mittelwert = 0 und unbekannte nicht-singulären Kovarianzmatrix verteilt . Jede Probe ist ein Vektor der Größe .$n$$X_1,..., X_n$$M$$X_i$$p\times 1$

Ich möchte den "Stein-Haff-Schätzer" [Stein, C. 1975] anwenden, der durch Verkleinern seiner Eigenwerte schätzt . wir also an, hat die Eigenwerte . Seine Schätzung hat die korrigierten Eigenwerte .$M$$M$$\alpha_1, \alpha_2, ..., \alpha_p$$M'$$\alpha'_1, \alpha'_2, ..., \alpha'_p$

Stein-Haff-Schätzer hat die Form Stein, C (1977b), Vorlesung 4, Seite 1391 :

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~$$\alpha'_j = \alpha_j / L_j(\alpha)$

Wobei .$L_j(\alpha) = n + p - 2j + 1 + 2 \sum_{i>j} (\alpha_i/ (\alpha_j - \alpha_i)) - 2\sum_{i<j} (\alpha_j / (\alpha_i - \alpha_j))$

Leider ist dieser Schätzer nicht sehr gut, da einige korrigierte Eigenwerte Null oder sogar negativ sein können. Deshalb wenden sie eine "isotonische Regression" auf die obige Gleichung an. Es gibt viele Referenzen, die erklären, wie die isotonische Version dieses Schätzers erstellt wird:

Leider kann ich das PDF der ersten beiden Referenzen nicht erhalten. Aber kann mir jemand erklären, wie Stein seinen Schätzer mithilfe der isotonischen Regression modifiziert hat? Was ist die endgültige Form der obigen Gleichung?

Bitte jede Hilfe von Ihren Erfahrungen wird sehr geschätzt!

Erstens weiß ich nichts über Stein-Haff-Schätzer außer dem, was ich nach ein paar Sekunden Googeln in https://stat.duke.edu/~berger/papers/yang.pdf gesehen habe , das das Zitat enthält "Dieser Schätzer hat zwei Probleme. Erstens wird die intuitiv kompatible Reihenfolge häufig verletzt. Zweitens, und schwerwiegender, können einige der sogar negativ sein Isotonisierungsalgorithmus, um diese Probleme zu vermeiden. ... Die Details dieses Isotonisierungsalgorithmus finden sich in Lin und Perlman (1985) ".$\phi_1 \geq \phi_2 \geq \dots \geq \phi_p$$\phi_i$
Diese Referenz lautet: LIN, SP und PERLMAN, MD (1985). Ein Monte-Carlo-Vergleich von vier Schätzern für eine Kovarianzmatrix. In Multivariate Analysis 6 (PR Krishnaiah, Hrsg.) 411-429. Nordholland, Amsterdam.

Ich weiß jedoch etwas über Optimierung. Isotonisierungsbeschränkungen können für ein Problem der kleinsten Quadrate festgelegt werden, wodurch es zu einem (linear beschränkten) Problem der konvexen quadratischen Programmierung (QP) wird, das mit Standard-Software einfach zu formulieren und numerisch zu lösen ist. Wenn eine L ^ 1-Norm für die Regression verwendet wird oder sogar eine L ^ 1-Strafe zu einem L ^ 2-Ziel hinzugefügt wird, ist dies immer noch ein konvexer QP. In dem Fall, in dem das Ziel ausschließlich L ^ 1 ist, wäre es tatsächlich ein Problem der linearen Programmierung (LP), was ein Sonderfall eines konvexen QP ist.

Was die negativen Eigenwerte betrifft, so wird angenommen, dass diese nach dem Hinzufügen der Isotonisierungsbeschränkungen noch möglich sind, was durch Auferlegen einer semidefiniten Beschränkung auf die Kovarianzmatrix behoben werden kann. Dh die Auferlegung der Einschränkung, dass der minimale Eigenwert . Sie können tatsächlich einen anderen minimalen Eigenwert als 0 festlegen, wenn Sie dies wünschen, und Sie müssten dies tun, wenn Sie sicherstellen möchten, dass die Kovarianzmatrix nicht singulär ist, wie Sie es für erwünscht oder erforderlich halten. Das Hinzufügen dieser semidefiniten Einschränkung verwandelt das gesamte Optimierungsproblem in ein konvexes semidefinites Programm (SDP) oder technisch etwas, das darin konvertierbar ist.$\geq 0$

Formulierung und numerische Lösung eines solchen konvexen SDP, dh Ziel bei Ihrer Wahl der Norm (L ^ p für jedes ), plus jede objektive Strafe bei Ihrer Wahl der Norm die nicht gleich sein muss Die andere Norm plus isotonisierende (lineare) Einschränkungen plus semi-definierte Einschränkungen ist mit einem Tool wie CVX http://cvxr.com/cvx/ SEHR einfach und unkompliziert . Dies sollte sehr schnell ausgeführt werden, es sei denn, die Dimension der Kovarianzmatrix (was Sie p genannt haben, nicht was ich p genannt habe) liegt bei Tausenden oder mehr. YALMIP http://users.isy.liu.se/johanl/yalmip/$p \geq 1$$(p \geq 1)$könnte anstelle von CVX verwendet werden (was nur die Formulierung und Lösung konvexer Optimierungsprobleme ermöglicht, mit Ausnahme der optionalen Angabe von ganzzahligen Einschränkungen). YALMIP ermöglicht eine größere Auswahl an Optimierungslösern und eine größere Bandbreite von Problemen (nicht konvex), die formuliert und gelöst werden können als CVX, jedoch eine steilere Lernkurve aufweisen.