Einheitliche Sicht auf die Schrumpfung: Welche Beziehung besteht (wenn überhaupt) zwischen Steins Paradoxon, Gratregression und zufälligen Effekten in gemischten Modellen?

64

Betrachten Sie die folgenden drei Phänomene.

Steins Paradoxon: Angesichts einiger Daten aus der multivariaten Normalverteilung in ist der Stichprobenmittelwert kein sehr guter Schätzer für den wahren Mittelwert. Man kann eine Schätzung mit kleinerem mittleren Fehlerquadrat erhalten, wenn man alle Koordinaten des Stichprobenmittelwerts gegen Null schrumpft [oder gegen ihren Mittelwert oder gegen irgendeinen Wert, wenn ich das richtig verstehe]. $\mathbb R^n, \: n\ge 3$

Anmerkung: In der Regel wird Steins Paradoxon formuliert, indem nur ein einziger Datenpunkt aus berücksichtigt wird . Bitte korrigieren Sie mich, wenn dies entscheidend ist und meine obige Formulierung nicht korrekt ist. $\mathbb R^n$
Ridge-Regression: Bei einigen abhängigen Variablen und einigen unabhängigen Variablen tendiert die Standard-Regression um die Daten zu überbeanspruchen und zu schlechter Out-of-Sample-Leistung zu führen. Man kann die Überanpassung oft reduzieren, indem man gegen Null schrumpft : . $\mathbf y$ $\mathbf X$ $\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$ $\beta$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$
Zufällige Effekte in mehrstufigen / gemischten Modellen: Wenn eine abhängige Variable (z. B. die Größe des Schülers) von bestimmten kategorialen Prädiktoren (z. B. Schulkennung und Geschlecht des Schülers) abhängt, wird häufig empfohlen, einige Prädiktoren als „zufällig“ zu behandeln, dh dies anzunehmen Die durchschnittliche Schülergröße in jeder Schule ergibt sich aus einer bestimmten zugrunde liegenden Normalverteilung. Dies führt dazu, dass die Schätzungen der mittleren Größe pro Schule in Richtung des globalen Mittelwerts gesenkt werden. $y$

Ich habe das Gefühl, dass all dies verschiedene Aspekte desselben "Schrumpfungs" -Phänomens sind, aber ich bin mir nicht sicher und es fehlt mir mit Sicherheit eine gute Intuition dafür. Meine Hauptfrage lautet also: Gibt es tatsächlich eine tiefe Ähnlichkeit zwischen diesen drei Dingen, oder ist es nur ein oberflächlicher Anschein? Was ist das gemeinsame Thema hier? Was ist die richtige Intuition?

Außerdem sind hier einige Teile dieses Puzzles, die für mich nicht wirklich zusammenpassen:

Bei der Gratregression wird nicht gleichmäßig geschrumpft. Die Rippenschrumpfung hängt tatsächlich mit der Singulärwertzerlegung von , wobei Richtungen mit geringer Varianz stärker geschrumpft werden (siehe z. B. Die Elemente des statistischen Lernens 3.4.1). Aber James-Stein-Schätzer nimmt einfach den Stichprobenmittelwert und multipliziert ihn mit einem Skalierungsfaktor. Wie passt das zusammen? $\beta$ $\mathbf X$

Update: siehe James-Stein Estimator mit ungleichen Varianzen und hier zB Varianzen von Koeffizienten. $\beta$
Der Stichprobenmittelwert ist in Dimensionen unter 3 optimal. Bedeutet dies, dass bei nur einem oder zwei Prädiktoren im Regressionsmodell die Kammregression immer schlechter ist als gewöhnliche kleinste Quadrate? Wenn ich es mir so überlege, kann ich mir keine Situation in 1D vorstellen (dh einfache, nicht-multiple Regression), in der ein Schrumpfen des Kamms von Vorteil wäre ...

Update: Nein. Siehe Unter welchen Bedingungen kann die Kammregression eine Verbesserung gegenüber der normalen Regression der kleinsten Quadrate bewirken?
Andererseits ist der Stichprobenmittelwert in Dimensionen über 3 immer suboptimal. Bedeutet dies, dass bei mehr als 3 Prädiktoren die Kammregression immer besser ist als die OLS, auch wenn alle Prädiktoren nicht korreliert sind (orthogonal)? Normalerweise ist die Gratregression durch Multikollinearität und die Notwendigkeit, den Term zu "stabilisieren", motiviert . $(\mathbf X^\top \mathbf X)^{-1}$

Update: Ja! Siehe den gleichen Thread wie oben.
Es gibt oft heftige Diskussionen darüber, ob verschiedene Faktoren in der ANOVA als feste oder zufällige Effekte einbezogen werden sollten. Sollten wir nach der gleichen Logik einen Faktor nicht immer als zufällig behandeln, wenn er mehr als zwei Ebenen hat (oder wenn es mehr als zwei Faktoren gibt? Jetzt bin ich verwirrt)?

Update :?

Update: Ich habe einige exzellente Antworten erhalten, aber keine liefert genug Informationen, so dass ich die Frage "offen" lassen werde. Ich kann versprechen, einer neuen Antwort eine Prämie von mindestens 100 Punkten zu verleihen , die die bestehenden Antworten übertrifft. Ich bin hauptsächlich auf der Suche nach einer einheitlichen Sichtweise, die erklären könnte, wie sich das allgemeine Phänomen des Schrumpfens in diesen verschiedenen Zusammenhängen manifestiert, und die Hauptunterschiede zwischen ihnen aufzeigen könnte.

— Amöbe sagt Reinstate Monica
quelle

Ich verstehe, dass die Gratregression (und ihre Verwandten wie das Lasso und das elastische Netz) die Koeffizienten für korrelierte Variablen verringert, die von allen Beobachtungen in der Regression gemeinsam genutzt werden (z. B. sozioökonomischer Status des Schülers und GPA), während ein Zufallseffektmodell die Koeffizienten für schrumpft sich gegenseitig ausschließende Ebenen oder Gruppen von korrelierten Beobachtungen (z. B. sozioökonomischer Status des Schülers, gruppiert nach Schul-ID).

— RobertF

3

Ich denke, der beste Ort, um eine einheitliche Antwort zu erhalten, ist das Keyword BLUP (für Best Linear Unbias Predictor) esp. in der Tierzuchtliteratur. Siehe zum Beispiel Robinsons Umfrage in Statistical Science. Oder Marvin Grubers Buch

— Xi'an

2

@ Xi'an: Vielen Dank, ich habe Grubers Buch bereits selbst gefunden, und obwohl er mit Sicherheit viel über James-Stein- und Gratregression spricht, habe ich keinen direkten Vergleich zwischen beiden gefunden (das ganze Buch zu lesen) im Moment keine Option für mich ...). Vielen Dank für den Link zu Robinsons Umfrage. Ich werde einen Blick darauf werfen. Tierzucht ! Wer hätte das gedacht. Übrigens, ich habe Ihre Kommentare zu verwandten Themen gesehen und vermute, dass Sie eine der Personen sind, die hier tatsächlich eine zufriedenstellende Antwort geben könnten! Das wäre toll; bisher macht mich keine antwort zufrieden.

— Amöbe sagt Reinstate Monica

2

@ Xi'an: Nun, deine hilfreichen Kommentare lassen mich hier keine Antwort von dir verpassen. Wie auch immer, ich habe angefangen, Robinson zu lesen und festgestellt, dass "Best Linear Unbiased Predictor" ein voreingenommener Schätzer ist (offensichtlich, da es Schrumpfung implementiert)! Was für eine schöne Terminologie.

— Amöbe sagt Reinstate Monica

4

Sie kennen sich in der Tierzucht gut aus: Nachdem Casella & George 1992 "Gibbs for kids" seinen Titel ändern mussten, um veröffentlicht zu werden, schrieb Wang & Gianola 1993 bei einem Treffen der European Association for Animal Production eine Einführung in "Gibbs for Pigs"!

— Xi'an

30

Zusammenhang zwischen James-Stein-Schätzer und Gratregression

$\mathbf y$ $\boldsymbol \theta$ $m$ ${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$ In Bezugdie ridge regression, können wir abschätzenvia wobei die Lösung

{\hat{θ}}_{J S} = (1 - \frac{(m - 2) σ^{2}}{‖ y ‖^{2}}) y .

$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$

θ

$\boldsymbol \theta$

min_{θ} ‖ y - θ ‖^{2} + λ ‖ θ ‖^{2},

$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$

Es ist leicht zu erkennen, dass die beiden Schätzer in derselben Form vorliegen, aber wir müssen

im James-Stein-Schätzerschätzenund

in der Gratregression durch Kreuzvalidierungbestimmen.

{\hat{θ}}_{r i d g e} = \frac{1}{1 + λ} y .

$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$

σ^{2}

$\sigma^2$

λ

$\lambda$

Verbindung zwischen James-Stein-Schätzer und Zufallseffektmodellen

Lassen Sie uns zuerst die Modelle für gemischte / zufällige Effekte in der Genetik diskutieren. Das Modell ist Wenn es keine festen Wirkungen und ist , wird das Modell

y = X β + Z θ + e, θ \sim N (0, σ_{θ}^{2} I), e \sim N (0, σ^{2} I) .

$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$

Z = I

$\mathbf {Z}=I$

was der Einstellung des James-Stein-Schätzers mit einer Bayes'schen Idee entspricht.

y = θ + e, θ \sim N (0, σ_{θ}^{2} I), e \sim N (0, σ^{2} I),

$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$

Zusammenhang zwischen Zufallseffektmodellen und Gratregression

Wenn wir Modelle auf den zufälligen Effekten konzentrieren oben, Die Schätzung entspricht , das Problem zu lösen bei

y = Z θ + e, θ \sim N (0, σ_{θ}^{2} I), e \sim N (0, σ^{2} I) .

$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$

min_{θ} ‖ y - Z θ ‖^{2} + λ ‖ θ ‖^{2}

$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$

. Den Beweis finden Sie in Kapitel 3 derMustererkennung und des maschinellen Lernens.

λ = σ^{2} / σ_{θ}^{2}

$\lambda=\sigma^2/\sigma_{\theta}^2$

Zusammenhang zwischen (mehrstufigen) Zufallseffektmodellen und denen in der Genetik

In dem Zufallseffekt - Modell über die Abmessung von ist und die von ist . Wenn wir vektorisieren als und wiederholen entsprechend, dann haben wir die hierarchische / gruppierten Struktur, - Cluster und jeweils mit - Einheiten. Wenn wir bei wiederholtem zurückführen, können wir den zufälligen Effekt von auf $\mathbf y$ $m\times 1,$ $\mathbf Z$ $m \times p$ $\mathbf Z$ $(mp)\times 1,$ $\mathbf y$ $p$ $m$ $\mathrm{vec}(\mathbf Z)$ $\mathbf y$ $Z$ $y$ für jeden Cluster, obwohl es eine Art umgekehrte Regression ist.

Anerkennung : Die ersten drei Punkte werden größtenteils aus diesen beiden chinesischen Artikeln 1 , 2 gelernt .

— Randel
quelle

(+1) Vielen Dank! Dies ist sehr hilfreich, und ich werde auf jeden Fall in Bischofs Lehrbuch nachschauen, das ich gut kenne und oft konsultiere. Ich hatte nicht damit gerechnet, bei gemischten Modellen etwas zu finden, aber es sieht so aus, als würde Abschnitt 3.3 "Bayes'sche lineare Regression" tatsächlich etwas anderes sagen, nur eine andere Terminologie. Sehr gut zu wissen! Aber wie sehen Sie meine Kugelfragen?

— Amöbe sagt Reinstate Monica

X

$\mathbf X$

p

$p$

m

$m$

y

$\mathbf y$

0

$\mathbf 0$

2

p

$p$

I_{p}

$\mathbf{I}_p$

(1 + λ)^{- 1} I_{p} y

$(1+\lambda)^{-1}\mathbf{I}_p \mathbf y$

‖ y ‖^{2}

$\Vert \mathbf y \Vert^2$

3

λ

$\lambda$

λ

$\lambda$

6

$^1$ $^2$ $^3$ $^4$

All dies fällt unter die Ägide der Entscheidungstheorie. Eine erschöpfende, aber eher unfreundliche Referenz ist die "Theorie der Punktschätzung" von Lehmann und Casella. Vielleicht können andere mit freundlicheren Referenzen mitreden?

$^1$ $\delta_1(X)$ $\theta \in \Omega$ $X$ $\delta_2(X)$ $\theta \in \Omega$ $\delta_1$ $\delta_2$ $\delta_2$ $\delta_1$ $\theta$ $\delta_2$ überall im Parameterraum.

$^2$ $\theta$ $\pi$ $\delta(X) = E(\theta | X)$ $\Omega$

π_{θ_{0}} = {\begin{cases} 1 & if θ = θ_{0} \\ 0 & θ \neq θ_{0} \end{cases}

$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$

θ_{0}

$\theta_0$

δ (X) = θ_{0}

$\delta(X) = \theta_0$

θ_{0}

$\theta_0$

θ_{0}

$\theta_0$

$^3$

$^4$ $1/\lambda^2$ $\beta$ $\sigma^2$ Der Fehlerterm ist die konstante Funktion (Lebesgue-Maß), die keine richtige (integrierbare) Wahrscheinlichkeitsverteilung ist. Dennoch kann gezeigt werden, dass viele solcher "teilweise" Bayes-Schätzer zulässig sind, indem gezeigt wird, dass sie die "Grenze" einer Folge von Schätzern sind, die richtige Bayes sind. Aber Beweise werden hier ziemlich verworren und heikel. Siehe "Generalized Bayes Estimators".

— Andrew M
quelle

1

β \sim N (β_{0}, 1 / λ^{2})

$\beta \sim \mathcal N(\beta_0, 1/\lambda^2)$

2

Aus dem Grund, warum der James-Stein-Schätzer unzulässig ist, finden Sie die Antwort hier . Eine ausführliche und interessante Diskussion findet sich auch in Lehmann & Casella (1998), Theory of Point Estimation .

— Randel

@Randel: Ja, ich weiß, dass es unzulässig ist und habe diese Argumentation gesehen. Ich frage mich nur, wie es zu Andrews Aussage passt (vorausgesetzt, ich habe es richtig verstanden), dass alle Bayes-Schätzer zulässig sind, da James-Stein über Empirical verstanden werden kann Bayes ...

— Amöbe sagt Reinstate Monica

2

@Amoeba: Ja, jeder Bayes-Schätzer, der nach dem richtigen Stand der Dinge der hintere ist, führt zu einem zulässigen Schätzer. Nach empirischer Einschätzung von Bayes handelt es sich bei solchen Verfahren nicht um echte Bayes, da eine vorherige Abhängigkeit von den Daten zu Pathologien führen kann. Manchmal kann sich herausstellen, dass sie zulässig sind, manchmal ist dies nicht der Fall - normalerweise müssen Sie von Fall zu Fall arbeiten. Ich habe meine Antwort dahingehend angepasst, dass sie etwas käfiger ist, weil ich nicht weiß, ob klassische lineare gemischte Modelle zulässig sind!

— Andrew M

3

Ich muss nur darauf hinweisen, dass echte richtige Bayes-Schätzer selten als James-Stein-Schätzer funktionieren, weil sie keine Minimax sind. Bill Strawderman hat zum Beispiel (1975) gezeigt, dass es für das übliche normale mittlere Problem, das alles festlegte, keinen richtigen Minimax-Bayes-Schätzer in Dimensionen von weniger als 5 gibt.

— Xi'an

2

James-Stein geht davon aus, dass die Dimension der Antwort mindestens 3 beträgt. In der Standard-Ridge-Regression ist die Antwort eindimensional. Sie verwechseln die Anzahl der Prädiktoren mit der Antwortdimension.
Davon abgesehen sehe ich die Ähnlichkeit zwischen diesen Situationen, aber was genau zu tun ist, z. B. ob ein Faktor fest oder zufällig ist, wie viel Schrumpfung angewendet werden soll, hängt, wenn überhaupt, vom jeweiligen Datensatz ab. Je orthogonaler die Prädiktoren sind, desto weniger ist es sinnvoll, die Ridge-Regression der Standard-Regression vorzuziehen. Je größer die Anzahl der Parameter ist, desto sinnvoller ist es, den vorherigen Wert über Empirical Bayes aus dem Datensatz selbst zu extrahieren und dann zum Verkleinern der Parameterschätzungen zu verwenden. Je höher das Signal-Rausch-Verhältnis ist, desto geringer sind die Vorteile des Schrumpfens usw.

— James
quelle

β

$\beta$

1

Ok, dann sollte JS theoretisch besser funktionieren, vorausgesetzt, es wurde auf den Fall ausgedehnt, dass MSE geschätzt wird und die Varianz-Kovarianz-Matrix von Beta willkürlich ist. In diesem Fall nimmt JS nicht nur die Punktschätzung von Beta und multipliziert sie mit einem Skalierungsfaktor. Ähnlich wie bei der Ridge-Regression werden verschiedene Beta-Komponenten unterschiedlich verkleinert.

— James

β

$\beta$

2

R^{n}

$R^n$

p

$p$

n

$n$

2

Wie andere gesagt haben, besteht die Verbindung zwischen den drei darin, wie Sie die vorherigen Informationen in die Messung einbeziehen.

Im Fall des Stein-Paradoxons wissen Sie, dass die wahre Korrelation zwischen den Eingabevariablen Null sein sollte (und alle möglichen Korrelationsmaße, da Sie Unabhängigkeit und nicht nur Unkorreliertheit implizieren möchten), daher können Sie eine Variable besser konstruieren als die einfache Stichprobenmittelwert und Unterdrückung der verschiedenen Korrelationsmaße. Im Bayes'schen Framework können Sie einen Prior erstellen, bei dem die Ereignisse, die zu einer Korrelation zwischen den Stichprobenmitteln führen, buchstäblich abgewogen werden und bei dem die anderen Ereignisse abgewogen werden.
Im Falle einer Gratregression möchten Sie eine gute Schätzung für den bedingten Erwartungswert E (y | x) finden. Im Prinzip ist dies ein unendlich dimensionales Problem und schlecht definiert, da wir nur eine endliche Anzahl von Messungen haben. Es ist jedoch bekannt, dass wir nach einer Continuos-Funktion suchen, die die Daten modelliert. Dies ist immer noch unklar, da es immer noch unendlich viele Möglichkeiten gibt, kontinuierliche Funktionen zu modellieren, aber die Menge ist etwas kleiner. Die Ridge-Regression ist nur eine einfache Möglichkeit, die möglichen Continuos-Funktionen zu sortieren, zu testen und bei einem endgültigen Freiheitsgrad anzuhalten. Eine Interpretation ist das Bild in der VC-Dimension: Während der Kammregression überprüfen Sie, ob ein Modell mit einem bestimmten Freiheitsgrad die den Daten inhärente Unsicherheit beschreibt. Praktisch misst es, wie gut die f (x, p1, p2 ... ) und das empirische P (p1, p2 ...) kann die vollständige P (y | x) -Verteilung und nicht nur E (y | x) rekonstruieren. Auf diese Weise werden die Modelle mit zu vielen Freiheitsgraden (die normalerweise zu stark angepasst werden) abgewogen, da mehr Parameter nach einem bestimmten Freiheitsgrad bedeuten, dass die Korrelationen zwischen den Parametern größer sind und folglich viel breiter P (f (x, p1, p2). ..)) Distributionen. Eine andere Interpretation ist, dass die ursprüngliche Verlustfunktion ebenfalls ein Messwert ist und dass die Bewertung einer bestimmten Stichprobe mit einer Unsicherheit verbunden ist, sodass die eigentliche Aufgabe darin besteht, die Verlustfunktion nicht zu minimieren, sondern ein Minimum zu finden, das erheblich niedriger ist als das andere (praktisch von einem Freiheitsgrad in einen anderen zu wechseln, ist eine Bayes'sche Entscheidung, daher ändert man die Anzahl der Parameter nur, wenn sie die Verlustfunktion signifikant verringern). Die Gratregression kann als Annäherung an diese beiden Bilder interpretiert werden (CV-Dimension, erwarteter Verlust). In einigen Fällen möchten Sie höhere Freiheitsgrade bevorzugen. In der Teilchenphysik untersuchen Sie beispielsweise die Teilchenkollision, bei der Sie erwarten, dass die erzeugte Anzahl von Teilchen eine Poisson-Verteilung ist, und rekonstruieren die Teilchenspur aus einem Bild (z. B. einem Foto) ) in einer Weise, die eine gegebene Anzahl von Spuren bevorzugt und Modelle unterdrückt, die eine kleinere oder höhere Spurnummerninterpretation des Bildes haben.
Der dritte Fall versucht auch, eine vorherige Information in die Messung zu implementieren, nämlich dass aus früheren Messungen bekannt ist, dass die Größe der Schüler sehr gut durch Gauß-Verteilungen und nicht beispielsweise durch einen Cauchy modelliert werden kann.

Kurz gesagt, die Antwort ist, dass Sie die Unsicherheit einer Messung verringern können, wenn Sie wissen, was Sie zu erwarten haben, und die Daten mit einigen vorherigen Daten (den vorherigen Informationen) kategorisieren. Diese vorherigen Daten schränken Ihre Modellierungsfunktion ein, die Sie zum Anpassen der Messungen verwenden. In einfachen Fällen können Sie Ihr Modell im Bayes'schen Rahmen aufschreiben, aber manchmal ist es unpraktisch, alle möglichen Continuos-Funktionen zu integrieren, um die zu finden, die den Bayes'schen Maximal-A-Posterior-Wert hat.

— Peter Kövesárki
quelle

2

James Stein Schätzer und Ridge Regression

Erwägen

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

$\mathbf{\epsilon}\sim N(0,\sigma^2I)$

Die Lösung mit dem kleinsten Quadrat hat die Form

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ $\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$ $\beta$ $\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ $\hat \beta$

James Stein

$\mathbf S=\mathbf I$ $\beta$

$\beta \sim N(0,a\mathbf I)$

$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$ $\frac{1}{a+\sigma^2}$ $\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$

Ridge Regression

$\mathbf X$ $\mathbf X$ $\beta=(\beta_1,\beta_2,\ldots, \beta_p)$ $S_{ii}=1$ $i=1,2,\ldots,p$

$\beta$ $\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ $\hat \beta$

Wie war $\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Dann bekommen wir

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

$\hat \beta (\lambda)$ $\mathbf S=\mathbf I$ $a=\frac{\sigma^2}{\lambda}$

— Chamberlain Foncha
quelle