Warum wird der James-Stein-Schätzer "Schrumpfungsschätzer" genannt?

Ich habe über den James-Stein-Schätzer gelesen. In diesen Anmerkungen wird definiert als

\hat{θ} = (1 - \frac{p - 2}{‖ X ‖^{2}}) X

$\hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X$

Ich habe den Beweis gelesen, verstehe aber die folgende Aussage nicht:

Geometrisch schrumpft der James-Stein-Schätzer jede Komponente von zum Ursprung ... $X$

Was bedeutet "Verkleinert jede Komponente von zum Ursprung" genau? Ich dachte an etwas wie was in diesem Fall wahr ist, solange , da $X$

‖ \hat{θ} - 0 ‖^{2} < ‖ X - 0 ‖^{2},

$\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,$

(p + 2) < ‖ X ‖^{2}

$(p+2) < \|X\|^2$

‖ \hat{θ} ‖ = \frac{‖ X ‖^{2} - (p + 2)}{‖ X ‖^{2}} ‖ X ‖ .

$\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|.$

Ist es das, was die Leute meinen, wenn sie "gegen Null schrumpfen" sagen, weil der JS-Schätzer im Sinne der Norm näher bei Null als bei ? $L^2$ $X$

Update vom 22.09.2017 : Heute habe ich gemerkt, dass ich die Dinge vielleicht zu kompliziert mache . Es scheint, als würden die Leute wirklich meinen, wenn Sie $X$ mit etwas multiplizieren , das kleiner als $1$ , nämlich dem Ausdruck $\frac{\|X\|^2 - (p + 2)}{\|X\|^2}$ . Jede Komponente von $X$ wird kleiner sein als früher.

— 3x89g2
quelle

Ein Bild sagt manchmal mehr als tausend Worte. Lassen Sie mich eines mit Ihnen teilen. Unten sehen Sie eine Illustration, die aus Bradley Efrons (1977) Papier Steins Paradoxon in der Statistik stammt . Wie Sie sehen, bewegt der Schätzer von Stein jeden der Werte näher an den allgemeinen Durchschnitt heran. Dadurch werden Werte, die größer als der Gesamtdurchschnitt sind, kleiner und Werte, die kleiner als der Gesamtdurchschnitt sind, größer. Unter Schrumpfen verstehen wir das Verschieben der Werte in Richtung des Durchschnitts oder in einigen Fällen in Richtung Null - wie bei einer regulierten Regression - das Schrumpfen der Parameter in Richtung Null.

Natürlich geht es nicht nur darum, sich selbst zu verkleinern, sondern Stein (1956) und James und Stein (1961) haben bewiesen, dass Steins Schätzer den Schätzer der maximalen Wahrscheinlichkeit in Bezug auf den quadratischen Gesamtfehler dominiert.

E_{μ} (‖ {\hat{μ}}^{J S} - μ ‖^{2}) < E_{μ} (‖ {\hat{μ}}^{M L E} - μ ‖^{2})

$E_\mu(\| \boldsymbol{\hat\mu}^{JS} - \boldsymbol{\mu} \|^2) < E_\mu(\| \boldsymbol{\hat\mu}^{MLE} - \boldsymbol{\mu} \|^2)$

Dabei ist , der Steinsche Schätzer und , wobei Beide Schätzer werden auf der Stichprobe . Die Proofs sind in den Originalpapieren und im Anhang des Papiers angegeben, auf das Sie sich beziehen. Im Klartext haben sie gezeigt, dass Sie, wenn Sie gleichzeitig Vermutungen anstellen, diese in Bezug auf den quadratischen Gesamtfehler besser reduzieren können, als wenn Sie sich an Ihre anfänglichen Vermutungen halten. $\boldsymbol{\mu} = (\mu_1,\mu_2,\dots,\mu_p)'$ $\hat\mu^{JS}_i$ $\hat\mu^{MLE}_i = x_i$ $x_1,x_2,\dots,x_p$ $p > 2$

Schließlich ist Steins Schätzer sicherlich nicht der einzige Schätzer, der den Schrumpfeffekt ergibt. Weitere Beispiele finden Sie in diesem Blogeintrag oder im bezogenen Buch zur Bayes'schen Datenanalyse von Gelman et al. Sie können die Threads auch auf regulierte Regression überprüfen, z. B. Welches Problem lösen Schrumpfungsmethoden? , oder Wann sollten Regularisierungsmethoden für die Regression angewendet werden? für andere praktische Anwendungen dieses Effekts.

— Tim
quelle

Der Artikel scheint hilfreich zu sein und ich werde ihn lesen. Ich habe meine Frage aktualisiert, um meine Gedanken weiter zu erläutern. Könnten Sie einen Blick darauf werfen? Vielen Dank!

— 3x89g2,

@Tim Ich halte Misakovs Argument für legitim, da der James-Stein-Schätzer den Schätzer von näher an Null bringt als den MLE. Null spielt eine zentrale und zentrische Rolle in diesem Schätzer, und es können James-Stein-Schätzer konstruiert werden, die in Richtung anderer Zentren oder sogar Teilräume schrumpfen (wie in George, 1986). Zum Beispiel schrumpfen Efron und Morris (1973) in Richtung des gemeinsamen Mittels, was dem diagonalen Unterraum entspricht.

θ

$\theta$

— Xi'an