Wahrscheinlichkeit bei linearer Regression

Ich versuche zu verstehen, wie Menschen die Wahrscheinlichkeit für eine einfache lineare Regression ableiten. Nehmen wir an, wir haben nur ein Merkmal x und das Ergebnis y. Ich bezweifle nicht den Ausdruck mit der normalen Dichte selbst und ich bezweifle auch nicht, dass man das Produkt aufgrund der Unabhängigkeit in einfachere Faktoren zerlegen kann. Ich bezweifle, wie Menschen diesen Ausdruck ableiten. Es scheint einen ganzen Zoo von (teilweise falschen) Annahmen über die Eingabe zu geben, und fast überall wird der kritische Schritt (Name, wie man das Produkt normaler Dichten ableitet), bei dem man tatsächlich die richtigen Annahmen verwenden muss, weggelassen :-(

Was ich für selbstverständlich halte, ist Folgendes: Wir erhalten einen festen Trainingssatz $(x_i, y_i)_{i=1,2,...,n}$ und nehme das an

1. die Paare $(x_i, y_i)$ im festen Trainingssatz der Länge $n$ kommen aus Zufallsvariablen $(X_i, Y_i)$ das sind iid verteilt
2. $Y_i = \beta_0 X_i + \epsilon_i$
3. das $\epsilon_i$ sind eindimensionale iid-Zufallsvariablen, die jeweils als verteilt sind $\mathcal{N}(0, \sigma)$ mit $\sigma$ bekannt (um zu vereinfachen) (vielleicht sollte man etwas über die bedingte Dichte annehmen $f_{\epsilon_i|X_i}$Hier? Die Leute scheinen sich nicht sicher zu sein, was sie hier tatsächlich annehmen sollen ...)

Lassen $Y = (Y_1, ..., Y_n)$ und lass $X = (X_1, ..., X_n)$. Ziel ist es nun, die bedingte Dichte zu bestimmen$f_{Y|X} = \frac{f_{(Y,X)}}{f_X}$. Deutlich,

$$f_{Y|X} = \prod_{i=1}^n f_{Y_i|X_i}$$

Frage:

Wie gehe ich von hier aus vor?

Ich sehe nicht, wie die Annahmen Informationen geben $f_{(Y_i, X_i)}$ oder ungefähr $f_{X_i}$ deshalb kann ich diese Menge einfach nicht berechnen $f_{Y_i|X_i} = \frac{f_{(Y_i, X_i)}}{f_{X_i}}$. Einige Leute könnten das auch denken$Y_i = \beta_0 X_i + \epsilon_i$ und $\epsilon_i$ normal verteilt (oder $\epsilon_i|X_i$ normalverteilt) bedeutet das auch $Y_i|X$ ist normal verteilt, aber ...

Es gibt eine Anweisung für normalverteilte Zufallsvariablen, die jedoch folgendermaßen lautet: If $X$ ist normal verteilt und $A, B$ sind dann feste Matrizen $AX+B$wird normalerweise wieder verteilt. Im obigen Fall$B$ ist $\beta_0 X_i$Das ist keine konstante Matrix.

Andere Quellen scheinen zu übernehmen , dass$f_{Y_i|X_i}$wird normalerweise sofort verteilt. Dies scheint eine seltsame Annahme zu sein ... wie sollten wir das jemals an einem realen Datensatz testen können?

Grüße + danke,

FW

Die Schlüsselannahme abzuleiten $f_{Y_i|X_i}$ ist, dass das Rauschen unabhängig vom Eingang ist, das heißt $\epsilon_i$ ist unabhängig von $X_i$. Sie müssen nichts über die Verteilung von wissen oder annehmen$X_i$.

Sie beginnen mit:

$$f_{Y_i|X_i}(x,y)=p(Y_i=y|X_i=x)=p(\beta_0x+\epsilon_i=y|X_i=x)=p(\epsilon_i=y-\beta_0x|X_i=x)$$

Nun wird die Unabhängigkeitsannahme verwendet, da $\epsilon_i$ ist unabhängig von $X_i$, seine Dichte gegeben einen Wert von $X_i$ ist einfach seine Dichte:

$$p(\epsilon_i=y-\beta_0x|X_i=x)=p(\epsilon_i=y-\beta_0x)=...e^{(y-\beta_0x)^2/2\sigma^2}$$

Man könnte alternativ sagen, dass die Verteilung des Rauschens bedingt ist$X_i$ ist normal mit einer konstanten Varianz (und einem Mittelwert von 0) bei einem beliebigen Wert von $X_i$. Darauf kommt es wirklich an. Dies entspricht jedoch genau der üblichen Annahme:

• $\epsilon_i$ ist unabhängig von $X_i$
• $\epsilon_i$ ist normalverteilt (mit Mittelwert 0)

Dank der Antwort von Benoit Sanchez verstand ich es endlich (wurde aber auf den falschen Weg einer Ersatzregel für bedingte Dichten gebracht). Die Antwort lautet wie folgt:

Das muss man annehmen

1. Die Paare $(x_i, y_i)$ kommen aus Zufallsvariablen $(X_i, Y_i)$ so dass die Variablen $Z_i = (X_i, Y_i)$ sind unabhängig
2. $Y_i = \beta_0 X_i + \epsilon_i$
3. Das $\epsilon_i$ sind iid. $N(0,\sigma)$ verteilt
4. $\epsilon_i$ ist unabhängig von $X_i$ (Der Fehler geht mit der Funktion nicht hoch oder runter, hat aber nichts damit zu tun.)
5. $X = (X_1, ..., X_n)$ und $Y = (Y_1, ..., Y_n)$ haben eine gemeinsame Dichte $f_{X,Y}$. Insbesondere alle$(X_i, Y_i)$ haben gemeinsame Dichten $f_{X_i, Y_i}$.

Man braucht die folgende einfache Beobachtung: Gegeben $n$ reelle Zufallsvariablen $Z_1, ..., Z_n$ mit einer gemeinsamen Dichte $f_{Z_1, ..., Z_n}$ und Bijektion $\Phi : \mathbb{R}^n \to \mathbb{R}^n$ so dass $\Phi$ und $\Phi^{-1}$ sind dann differenzierbar

$$f_{\Phi(Z_1, ..., Z_n)}(z_1, ..., z_n) = |\det(\partial \Phi^{-1})| f_{Z_1, ..., Z_n}(\Phi^{-1}(z_1, ..., z_n))$$ dh die Dichte der transformierten Zufallsvariablen ist die alte Dichte, die an einem transformierten Punkt ausgewertet wird.

Die Schlüsselbeobachtung ist, dass die zweidimensionale Zufallsvariable $(Y_i, X_i)$ ist eine einfache Transformation von $(\epsilon_i, X_i)$nämlich

$$(Y_i, X_i) = \Phi(\epsilon_i, X_i)$$ wo $\Phi(e, x) = (e + \beta_0 x, x)$. Wir haben$\Phi^{-1}(y, x) = (y - \beta_0 x, x)$. Seine Differentialmatrix ist $$\partial \Phi^{-1} = \begin{pmatrix}1 & \beta_0 \\ 0 & 1 \end{pmatrix}$$ das ist von bestimmender.

Nun wenden wir die Beobachtung auf diese Situation an und erhalten

$$f_{Y_i, X_i}(y,x) = f_{\Phi(\epsilon_i, X_i)}(y, x) = 1 \cdot f_{\epsilon_i, X_i}(\Phi^{-1}(y, x)) = f_{\epsilon_i, X_i}(y - \beta_0 x, x)$$

Jetzt $\epsilon_i$ ist unabhängig von $X_i$ durch Annahme daher

$$f_{Y_i, X_i}(y,x) = f_{\epsilon_i}(y - \beta_0 x) f_X(x)$$ oder eher $$f_{Y_i| X_i}(y|x) = \frac{f_{\epsilon_i}(y - \beta_0 x) f_X(x)}{f_X(x)} = f_{\epsilon_i}(y - \beta_0 x)$$ und daraus (und aus $f_{Y, X} = \prod_{i} f_{Y_i, X_i}$ durch die Unabhängigkeitsannahme erhält man die üblichen Wahrscheinlichkeitsgleichungen.

Ich bin jetzt glücklich :-)