Ist Erwartung gleich Mittelwert?

Ich mache ML an meiner Universität, und der Professor erwähnte den Begriff Erwartung (E), während er versuchte, uns einige Dinge über Gaußsche Prozesse zu erklären. Aber von der Art, wie er es erklärte, verstand ich, dass E dasselbe ist wie der Mittelwert μ. Habe ich richtig verstanden?

Wenn es dasselbe ist, wissen Sie dann, warum beide Symbole verwendet werden? Ich habe auch gesehen, dass E als Funktion wie E ( $x^2$ ) verwendet werden kann, aber ich habe das für μ nicht gesehen.

Kann mir jemand helfen, den Unterschied zwischen den beiden besser zu verstehen?

machine-learning gaussian-process linear-algebra

— Jim Blum
quelle

Für stetiges

ist

wobei

die Wahrscheinlichkeitsdichtefunktion ist. Es ist also nur wahr, wenn

das Argument ist. Es könnte jedoch auch wahr sein, wenn wir

, wobei

X

$X$

E [X] = \int_{- \infty}^{\infty} f (x) x d x = μ (x)

$E[X] = \int_{-\infty}^{\infty} f(x)x dx = \mu(x)$

f (x)

$f(x)$

X

$X$

E [g (X)] = E [X] = μ (X)

$E[g(X)] = E[X] = \mu(X)$

ist etwas anderes als die Identitätsfunktion.

g

$g$

— Jase

@Jase

? Warum ist die rechte Seite eine Funktion von

, die nach dem Ersetzen der Grenzen bei der Bewertung des Integrals verschwunden sein sollte?

μ (x)

$\mu(x)$

x

$x$

— Dilip Sarwate

@ DilipSarwate

war ein Tippfehler. Das heißt

μ (x)

$\mu(x)$

μ = μ (X)

$\mu = \mu(X)$

— Jase

John: Wenn ich Sie wäre, würde ich die Grundwahrscheinlichkeit lernen, bevor ich an Kursen für maschinelles Lernen / Gaußsche Prozesse teilnehme. Schauen Sie sich dieses Buch an: math.uiuc.edu/~r-ash/BPT.html

— Zen

Vielen Dank Jungs für eure Hilfe! Ich habe nicht so viel Feedback erwartet. @ Zen Vielen Dank für Ihren Rat. Ich stimme dir vollkommen zu. Ich habe ein Modul als Grundstudium für Wahrscheinlichkeiten und Statistiken absolviert. Wir hatten jedoch nur eine einfache Einführung in Verteilungen und Wahrscheinlichkeiten, und leider haben wir sie nicht ausführlich behandelt. Außerdem haben wir den Begriff "Erwartung" nicht erwähnt. Ich versuche jetzt, meine Lücken bei Statistiken und Wahrscheinlichkeiten selbst zu schließen.

— Jim Blum

Antworten:

Erwartung / Erwarteter Wert ist ein Operator, der auf eine Zufallsvariable angewendet werden kann. Für diskrete Zufallsvariablen (wie Binomial) mit möglichen Werten ist es definiert als . Das heißt, es ist der Mittelwert der möglichen Werte, gewichtet mit der Wahrscheinlichkeit dieser Werte. Kontinuierliche Zufallsvariablen kann als Verallgemeinerung gedacht werden: . Der Mittelwert einer Zufallsvariablen ist ein Synonym für Erwartung. $k$ $\sum_i^k x_i p(x_i)$ $\int x dP$

Die Gaußsche (Normal-) Verteilung hat zwei Parameter und . Wenn normalverteilt ist, ist . Der Mittelwert einer verteilten Gaußschen Variablen ist also gleich dem Parameter Dies ist nicht immer der Fall. Nehmen Sie die Binomialverteilung mit den Parametern und . Wenn binomial verteilt ist, ist . $\mu$ $\sigma^2$ $X$ $E(X)=\mu$ $\mu$ $n$ $p$ $X$ $E(X)=np$

Wie Sie gesehen haben, können Sie auch Erwartung auf Funktionen von Zufallsvariablen anwenden , so dass für eine Gaußsche Sie , dass finden . $X$ $E(X^2)=\sigma^2+\mu^2$

Die Wikipedia-Seite zu erwarteten Werten ist ziemlich informativ: http://en.wikipedia.org/wiki/Expected_value

— Jeremy Coyle
quelle

"... so dass für einen Gauß -

können Sie feststellen , dass

." Ist es absolut notwendig, dass

von Gaußian für diese Beziehung gilt?

X

$X$

E (X^{2}) = σ^{2} + μ^{2}

$E(X^2)=\sigma^2+\mu^2$

X

$X$

— Dilip Sarwate

Die Beziehung

wird immer gelten, aber ich würde die Antwort erwarten, die in Bezug auf die Parameter der Verteilung geschrieben wurde. Wenn ich also jemanden fragen würde, was

für

verteiltes Binomial

, würde ich die Antwort

erwarten , nicht

E (X^{2}) = V (X) + E (X)^{2}

$E(X^2)=V(X)+E(X)^2$

E (X^{2})

$E(X^2)$

X

$X$

(n, p)

$(n,p)$

n p (1 - p) + (n p)^{2}

$np(1-p)+(np)^2$

σ^{2} + μ^{2}

$\sigma^2+\mu^2$

— Jeremy Coyle

Wenn Sie jedoch fragen würden, was

für eine binomische Zufallsvariable mit dem Mittelwert

und der Varianz

, wäre die Antwort

. Zugegeben, binomiale Zufallsvariablen werden normalerweise mit

und

parametrisiert , aber was nun? Aus dem Mittelwert und der Varianz können wir leicht

E (X^{2})

$E(X^2)$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} + μ^{2}

$\sigma^2+\mu^2$

n

$n$

p

$p$

und

p = 1 - \frac{variance}{mean}

$p = 1 - \frac{\text{variance}}{\text{mean}}$

n = \frac{mean}{p} = \frac{{mean}^{2}}{mean - variance} .

$n = \frac{\text{mean}}{p} = \frac{\text{mean}^2}{\text{mean}-\text{variance}}.$

— Dilip Sarwate

Der Sinn des Beispiels bestand darin, zwischen Parametern einer Verteilung und den Momenten einer Verteilung zu unterscheiden. Ja, es ist möglich, Verteilungen in Bezug auf ihre Momente neu zu parametrisieren, aber da das OP nach der Beziehung zwischen

und

fragte , scheint es wichtig, diese Unterscheidung fortzusetzen. Gibt es einen Grund, warum Sie sich dafür entscheiden, in diesem Punkt pedantisch zu sein?

E (X)

$E(X)$

μ

$\mu$

— Jeremy Coyle

Vielen Dank Jeremy! Hervorragende Antwort. Sie waren sehr hilfreich!

— Jim Blum

Die Erwartung mit einer Operator-Notation E () (unterschiedliche Präferenzen für gute Schriftarten, römisch oder kursiv, schlicht oder ausgefallen, werden gefunden) impliziert, den Mittelwert ihrer Argumentation zu nehmen, jedoch in einem mathematischen oder theoretischen Kontext. Der Begriff geht auf Christiaan Huygens im 17. Jahrhundert zurück. Die Idee ist in weiten Teilen der Wahrscheinlichkeitstheorie und der mathematischen Statistik explizit enthalten, und beispielsweise macht Peter Whittles Buch Probability via Expectation deutlich, wie sie noch zentraler gestaltet werden könnte.

Grundsätzlich ist es nur eine Frage der Konvention, dass Mittelwerte (Durchschnittswerte) häufig auch ziemlich unterschiedlich ausgedrückt werden, insbesondere durch einzelne Symbole, und insbesondere dann, wenn diese Mittelwerte aus Daten berechnet werden sollen. Whittle verwendet jedoch in dem gerade zitierten Buch eine Notation A () für die Mittelwertbildung, und spitze Klammern um zu mittelnde Variablen oder Ausdrücke sind in der Physik üblich.

— Nick Cox
quelle