Betrachten Sie das einfache lineare Modell:

y y = X^{'} β β + ϵ

$\pmb{y}=X'\pmb{\beta}+\epsilon$

wo $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ und $X\in\mathbb{R}^{n\times p}$ , $p\geq2$ und $X$ enthalten eine Spalte von Konstanten.

Meine Frage ist: Gibt es bei $\mathrm{E}(X'X)$ , $\beta$ und $\sigma$ eine Formel für eine nicht triviale Obergrenze für $\mathrm{E}(R^2)$ *? (unter der Annahme, dass das Modell von OLS geschätzt wurde).

* Ich ging beim Schreiben davon aus, dass es nicht möglich wäre , $E(R^2)$ selbst zu erhalten.

EDIT1

Mit der von Stéphane Laurent abgeleiteten Lösung (siehe unten) können wir eine nicht triviale Obergrenze für $E(R^2)$ . Einige numerische Simulationen (unten) zeigen, dass diese Grenze tatsächlich ziemlich eng ist.

Stéphane Laurent hat folgendes abgeleitet: wobei eine nicht-zentrale Beta-Verteilung mit ist Nichtzentralitätsparameter mit $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ $\mathrm{B}(p-1,n-p,\lambda)$ $\lambda$

λ = \frac{| | X^{'} β - E (X)^{'} β 1_{n} | |^{2}}{σ^{2}}

$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$

E (R^{2}) = E (\frac{χ_{p - 1}^{2} (λ)}{χ_{p - 1}^{2} (λ) + χ_{n - p}^{2}}) \geq \frac{E (χ_{p - 1}^{2} (λ))}{E (χ_{p - 1}^{2} (λ)) + E (χ_{n - p}^{2})}

$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$

Dabei ist ein nicht zentrales mit dem Parameter und Freiheitsgraden. Also eine nicht triviale Obergrenze für $\chi^2_{k}(\lambda)$ $\chi^2$ $\lambda$ $k$ $\mathrm{E}(R^2)$ ist ,

\frac{λ + p - 1}{λ + n - 1}

$\frac{\lambda+p-1}{\lambda+n-1}$

es ist sehr eng (viel enger als ich erwartet hatte möglich wäre):

Zum Beispiel mit:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

Der Mittelwert der über 1000 Simulationen ist . Die obige theoretische Obergrenze gibt . Die Schranke scheint für viele Werte von gleich genau zu sein . Wirklich erstaunlich! $R^2$ 0.9608190.9609081 $R^2$

EDIT2:

Nach weiteren Untersuchungen scheint es , dass die Qualität der oberen Approximation von besser wird, wenn zunimmt (und alle anderen Werte gleich, nimmt mit ). $E(R^2)$ $\lambda+p$ $\lambda$ $n$

linear-model expected-value

— user603
quelle

hat eine Beta-Verteilung mit Parametern, die nur von

und

abhängen. Nein ?

R^{2}

$R^2$

n

$n$

p

$p$

— Stéphane Laurent

Leider ist meine vorherige Behauptung nur unter der Hypothese des "Nullmodells" (nur Intercept) wahr. Ansonsten sollte die Verteilung von

so etwas wie eine nicht-zentrale Beta-Verteilung sein, wobei ein Nicht-Zentralitätsparameter die unbekannten Parameter enthält.

R^{2}

$R^2$

— Stéphane Laurent

@ StéphaneLaurent: danke. Möchten Sie mehr über die Beziehung zwischen den unbekannten Parametern und den Parametern der Beta wissen? Ich stecke fest, also wäre jeder Zeiger willkommen ...

— user603

Müssen Sie sich unbedingt mit

? Vielleicht gibt es eine einfache exakte Formel für

E [R^{2}]

$E[R^2]$

E [R^{2} / (1 - R^{2})]

$E[R^2/(1-R^2)]$

— Stéphane Laurent

Mit den Notationen meiner Antwort ist

für einen Skalar

und der erste Moment der nichtzentralen

Verteilung einfach.

R^{2} / (1 - R^{2}) = k F

$R^2/(1-R^2) = k F$

k

$k$

F

$F$

— Stéphane Laurent

Es kann jedes lineare Modell geschrieben werden: wobei die Standardnormalverteilung auf und als zu einem linearen Unterraum von angenommen wird . In deinem Fall ist $\boxed{Y=\mu+\sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W$ $\mathbb{R}^n$ $W=\text{Im}(X)$ .

Sei der eindimensionale lineare Unterraum, der vom Vektor . Mitnahmen unterhalb die ist stark in Bezug auf die klassischen Fisher - Statistik $[1] \subset W$ $(1,1,\ldots,1)$ $U=[1]$ $R^2$ für den Hypothesentest vonwoist ein linearer Unterraum und Bezeichnen von dem orthogonalen Komplement derin, und Bezeichnenund

F = \frac{{‖ P_{Z} Y ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} Y ‖}^{2} / (n - m)},

$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$

H_{0} : {μ \in U}

$H_0\colon\{\mu \in U\}$

U \subset W

$U\subset W$

Z = U^{⊥} \cap W

$Z=U^\perp \cap W$

U

$U$

W

$W$

m = \dim (W)

$m=\dim(W)$

ℓ = \dim (U)

$\ell=\dim(U)$ (dann ist

und

m = p

$m=p$

ℓ = 1

$\ell=1$ in Ihrer Situation).

In der Tat ist , da die Definition vonist

\frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{W}^{⊥} Y ‖}^{2}} = \frac{R^{2}}{1 - R^{2}}

$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$

R^{2}

$R^2$

R^{2} = \frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} = 1 - \frac{{‖ P_{W}^{⊥} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} .

$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$

Offensichtlich und . $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Wenn wahr ist, $H_0\colon\{\mu \in U\}$ dann ist und daher ist $P_Z \mu = 0$ hat dieVerteilungFisher. Aus der klassischen Beziehung zwischen der Fisher-Verteilung und der Beta-Verteilung ergibt sich folglich.

F = \frac{{‖ P_{Z} G ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} G ‖}^{2} / (n - m)} \sim F_{m - ℓ, n - m}

$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$

F_{m - ℓ, n - m}

$F_{m-\ell,n-m}$

R^{2} \sim B (m - ℓ, n - m)

$R^2 \sim {\cal B}(m-\ell, n-m)$

In der allgemeinen Situation müssen wir umgehen , wenn . In diesem allgemeinen Fall hat man , die nichtzentrale Verteilung mit Freiheitsgraden und noncentrality Parametern $P_Z Y = P_Z \mu + \sigma P_Z G$ $P_Z\mu \neq 0$ ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$ $\chi^2$ $m-\ell$ und dann (nichtzentrale Fisher-Verteilung). Dies ist das klassische Ergebnis zur Berechnung der Potenz von $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$ $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ $F$ Tests.

Die klassische Beziehung zwischen der Fisher-Distribution und der Beta-Distribution gilt auch in der nicht zentralen Situation. Schließlich hat die nichtzentrale Beta-Verteilung mit "Formparametern" und und dem Nichtzentralitätsparameter $R^2$ $m-\ell$ $n-m$ $\lambda$ . Ich denke, die Momente sind in der Literatur verfügbar, aber möglicherweise sehr kompliziert.

Zum Schluss schreiben wir . Man beachte, dass . Man hat wenn und . Daher ist wobei für den unbekannten Parametervektor . $P_Z\mu$ $P_Z = P_W - P_U$ $P_U \mu = \bar\mu 1$ $U=[1]$ $P_W \mu = \mu$ $P_Z \mu =\mu - \bar\mu 1$ $\mu=X\beta$ $\beta$

— Stéphane Laurent
quelle

P_{Z} x

$P_Z x$

x

$x$

Z

$Z$

P^{⊥}

$P^\perp$

P x \neq ‖ P x ‖^{2}

$Px \neq \Vert P x \Vert^2$

Fertig - sehen Sie Vereinfachungen?

— Stéphane Laurent

\bar{μ} = \frac{1}{n} \sum μ_{i}

$\bar \mu = \frac{1}{n} \sum \mu_i$

(0, \infty)

$(0, \infty)$

R^{2} / (1 - R^{2})

$R^2/(1-R^2)$

Bedingte Erwartung von R-Quadrat

EDIT1

EDIT2: