Varianz einer Funktion einer Zufallsvariablen

Nehmen wir an, wir haben die Zufallsvariable mit bekannter Varianz und Mittelwert. Die Frage ist: Was ist die Varianz von für eine gegebene Funktion f. Die einzige allgemeine Methode, die mir bekannt ist, ist die Delta-Methode, die jedoch nur eine Annäherung darstellt. Jetzt interessiere ich mich für , aber es wäre auch schön, einige allgemeine Methoden zu kennen. $X$ $f(X)$ $f(x)=\sqrt{x}$

Edit 29.12.2010
Ich habe einige Berechnungen mit Taylor-Reihen durchgeführt, bin mir aber nicht sicher, ob sie korrekt sind. Ich würde mich freuen, wenn jemand sie bestätigen könnte .

Zuerst müssen wir $E[f(X)]$
$E[f(X)] \approx E[f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2]=f(\mu)+\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Nun können wir uns $D^2 [f(X)]$
$E[(f(X)-E[f(X)])^2] \approx E[(f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2 -E[f(X)])^2]$

Unter Verwendung der Approximation von $E[f(X)]$ wissen wir, dass $f(\mu)-Ef(x) \approx -\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Hiermit erhalten wir:
$D^2[f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2\cdot Var[X]^2-\frac{1}{2}\cdot f''(\mu)^2\cdot Var[X]^2 + f'(\mu)^2\cdot Var[X]+\frac{1}{4}f''(\mu)^2\cdot E[(X-\mu)^4] +\frac{1}{2}f'(\mu)f''(\mu)E[(X-\mu)^3]$
$D^2 [f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2 \cdot [D^4 X-(D^2 X)^2]+f'(\mu)\cdot D^2 X +\frac{1}{2}f'(\mu)f''(\mu)D^3 X$

variance random-variable delta-method

— Tomek Tarczynski
quelle

Die Delta-Methode wird für asymptotische Verteilungen verwendet. Sie können nicht verwenden, wenn Sie nur eine Zufallsvariable haben.

— mpiktas

@mpiktas: Eigentlich weiß ich nicht viel über die Delta-Methode, ich habe gerade etwas auf Wikipedia gelesen. Dies ist ein Zitat aus dem Wiki: "Die Delta-Methode verwendet Taylor-Expansionen zweiter Ordnung, um die Varianz einer Funktion einer oder mehrerer Zufallsvariablen zu approximieren."

— Tomek Tarczynski

Wikipedia scheint genau das zu haben, was Sie wollen: en.wikipedia.org/wiki/… . Ich werde meine Antwort wiederholen, es scheint, dass ich Taylor Expansion unterschätzt habe.

— mpiktas

Tomek, wenn Sie mit den vorgenommenen Änderungen nicht einverstanden sind (nicht von mir), können Sie sie jederzeit erneut ändern oder zurücksetzen oder einfach auf die Unterschiede hinweisen und um Klärung bitten.

— Glen_b

@ Glen_b: Ich stimme ihnen zu. E (X-mu) = 0 impliziert nicht, dass E [(X-mu) ^ 3] = 0.

— Tomek Tarczynski

Aktualisieren

Ich habe Taylor-Erweiterungen unterschätzt. Sie arbeiten tatsächlich. Ich nahm an, dass das Integral des Restbegriffs unbegrenzt sein kann, aber mit ein wenig Arbeit kann gezeigt werden, dass dies nicht der Fall ist.

Die Taylor-Erweiterung funktioniert für Funktionen in einem begrenzten geschlossenen Intervall. Für Zufallsvariablen mit endlicher Varianz gibt Chebyshev Ungleichung

P (| X - E X | > c) \leq \frac{V a r (X)}{c}

$P(|X-EX|>c)\le \frac{Var(X)}{c}$

Also für jede können wir groß genug finden , so dass $\varepsilon>0$ $c$

P (X \in [E X - c, E X + c]) = P (| X - E X | \leq c) < 1 - ε

$P(X\in [EX-c,EX+c])=P(|X-EX|\le c)<1-\varepsilon$

Lassen Sie uns zuerst schätzen . Wir haben wobei die Verteilungsfunktion für . $Ef(X)$

\begin{aligned} E f (X) = \int_{| x - E X | \leq c} f (x) d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)=\int_{|x-EX|\le c}f(x)dF(x)+\int_{|x-EX|>c}f(x)dF(x) \end{align}$

F (x)

$F(x)$

X

$X$

Da die Domäne des ersten Integrals das Intervall ist, das durch ein geschlossenes Intervall begrenzt ist, können wir die Taylor-Expansion anwenden: wobei und die Gleichheit für alle . Ich habe in der Taylor-Erweiterung nur 4 Terme genommen, aber im Allgemeinen können wir so viele nehmen, wie wir wollen, solange die Funktion glatt genug ist. $[EX-c,EX+c]$

\begin{aligned} f (x) = f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + \frac{f^{‴} (α)}{3} (x - E X)^{3} \end{aligned}

$\begin{align} f(x)=f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+\frac{f'''(\alpha)}{3}(x-EX)^3 \end{align}$

α \in [E X - c, E X + c]

$\alpha\in [EX-c,EX+c]$

x \in [E X - c, E X + c]

$x\in[EX-c,EX+c]$

f

$f$

Ersetzen wir diese Formel durch die vorherige, die wir erhalten

\begin{aligned} E f (X) & = \int_{| x - E X | \leq c} f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} d F (x) \\ + \int_{| x - E X | \leq c} \frac{f^{‴} (α)}{3} (x - E X)^{3} d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)&=\int_{|x-EX|\le c}f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2dF(x)\\\\ &+\int_{|x-EX|\le c}\frac{f'''(\alpha)}{3}(x-EX)^3dF(x) +\int_{|x-EX|>c}f(x)dF(x) \end{align}$ Nun können wir den Bereich der Integration vergrößern, um die folgende Formel zu erhalten

\begin{aligned} E f (X) & = f (E X) + \frac{f^{″} (E X)}{2} E (X - E X)^{2} + R_{3} \end{aligned}

$\begin{align} Ef(X)&=f(EX)+\frac{f''(EX)}{2}E(X-EX)^2+R_3\\\\ \end{align}$ where Nun können wir unter bestimmten Momentbedingungen zeigen, dass der zweite Term dieses Restterms so groß wie was klein ist. Leider bleibt der erste Term erhalten und so hängt die Qualität der Approximation von und dem Verhalten der dritten Ableitung von in begrenzten Intervallen ab. Eine solche Approximation sollte am besten für Zufallsvariablen mit funktionieren .

\begin{aligned} R_{3} & = \frac{f^{‴} (α)}{3} E (X - E X)^{3} + \\ + \int_{| x - E X | > c} (f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + f (X)) d F (x) \end{aligned}

$\begin{align} R_3&=\frac{f'''(\alpha)}{3}E(X-EX)^3+\\\\ &+\int_{|x-EX|>c}\left(f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+f(X)\right)dF(x) \end{align}$

P (| X - E X | > c)

$P(|X-EX|>c)$

E (X - E X)^{3}

$E(X-EX)^3$

f

$f$

E (X - E X)^{3} = 0

$E(X-EX)^3=0$

Nun können wir für die Varianz die Taylor-Näherung für , die Formel für subtrahieren und die Differenz . Dann $f(x)$ $Ef(x)$

$E(f(x)-Ef(x))^2=(f'(EX))^2Var(X)+T_3$

wobei Momente für . Wir können zu dieser Formel auch kommen, indem wir nur Taylor-Expansion erster Ordnung verwenden, dh nur die erste und die zweite Ableitung. Der Fehlerausdruck wäre ähnlich. $T_3$ $E(X-EX)^k$ $k=4,5,6$

Ein anderer Weg ist, : $f^2(x)$

\begin{aligned} f^{2} (x) & = f^{2} (E X) + 2 f (E X) f^{'} (E X) (x - E X) \\ + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] (X - E X)^{2} + \frac{(f^{2} (β))^{‴}}{3} (X - E X)^{3} \end{aligned}

$\begin{align} f^2(x)&=f^2(EX)+2f(EX)f'(EX)(x-EX)\\\\ &+[(f'(EX))^2+f(EX)f''(EX)](X-EX)^2+\frac{(f^2(\beta))'''}{3}(X-EX)^3 \end{align}$

Ebenso erhalten wir dann wobei ähnlich .

\begin{aligned} E f^{2} (x) = f^{2} (E X) + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] V a r (X) + {\tilde{R}}_{3} \end{aligned}

$\begin{align*} Ef^2(x)=f^2(EX)+[(f'(EX))^2+f(EX)f''(EX)]Var(X)+\tilde{R}_3 \end{align*}$

{\tilde{R}}_{3}

$\tilde{R}_3$

R_{3}

$R_3$

Die Varianzformel wird dann wobei nur dritte Momente und mehr haben.

\begin{aligned} V a r (f (X)) = [f^{'} (E X)]^{2} V a r (X) - \frac{[f^{″} (E X)]^{2}}{4} V a r^{2} (X) + {\tilde{T}}_{3} \end{aligned}

$\begin{align} Var(f(X))=[f'(EX)]^2Var(X)-\frac{[f''(EX)]^2}{4}Var^2(X)+\tilde{T}_3 \end{align}$

{\tilde{T}}_{3}

$\tilde{T}_3$

— mpiktas
quelle

Ich muss den genauen Wert der Varianz nicht kennen, die Approximation sollte für mich funktionieren.

— Tomek Tarczynski

Tatsächlich wird die ungefähre Formel für im OP häufig in der Risikoanalyse in Wirtschaft, Finanzen und Versicherungen verwendet.

E [f (X)]

$\mathbb{E}[f(X)]$

— Raskolnikov

@Raskolnikov, ja, aber es widerspricht meinem zugegebenermaßen veralteten Wissen über die Taylor-Expansion. Natürlich muss die Restlaufzeit berücksichtigt werden. Wenn die Zufallsvariable begrenzt ist, ist dies kein Problem, da Polynome stetige Funktionen im begrenzten Intervall gleichmäßig approximieren. Wir beschäftigen uns aber mit unbegrenzten Zufallsvariablen. Natürlich können wir für zufälliges Normal sagen, dass es effektiv begrenzt ist, aber im Allgemeinen können einige böse Überraschungen auftreten oder nicht. Ich werde meine Antwort korrigieren, sobald ich eine klare Antwort habe.

— mpiktas

@Tomek Tarczynski, die dritte Ableitung von geht für großes ziemlich schnell auf Null , ist aber nahe Null unbegrenzt. Wenn Sie also eine gleichmäßige Verteilung mit einer Unterstützung nahe Null gewählt haben, kann die Restlaufzeit groß werden.

\sqrt{x}

$\sqrt{x}$

x

$x$

— mpiktas

Beachten Sie, dass in Ihrem Link die Gleichheit ungefähr ist. In dieser Antwort sind alle Gleichungen exakt. Außerdem für die Varianz beachten, dass die erste Ableitung an der geschätzt wird , nicht . Außerdem habe ich nie angegeben, dass dies für nicht funktioniert , nur, dass für die ungefähre Formel möglicherweise einen großen Fehler aufweist, wenn die Domäne nahe Null ist.

E X

$EX$

x

$x$

\sqrt{x}

$\sqrt{x}$

\sqrt{x}

$\sqrt{x}$

X

$X$

— mpiktas

Die ersten beiden Momente von X (Mittelwert und Varianz) zu kennen, reicht nicht aus, wenn die Funktion f (x) willkürlich (nicht linear) ist. Nicht nur zur Berechnung der Varianz der transformierten Variablen Y, sondern auch für ihren Mittelwert. Um dies zu sehen - und vielleicht um Ihr Problem anzugreifen -, können Sie davon ausgehen, dass Ihre Transformationsfunktion eine Taylor-Erweiterung um den Mittelwert von X aufweist, und von dort aus arbeiten.

— Leonbloy
quelle