Lineare Regression mit Laplace-Fehlern

Betrachten Sie ein lineares Regressionsmodell:

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ wobei

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ , das heißt , Laplace-Verteilung mit

0

$0$ Mittelwert und

b

$b$ Skalenparameter sind alle voneinander unabhängig. Betrachten Sie eine maximale Wahrscheinlichkeitsschätzung des unbekannten Parameters

β

$\boldsymbol \beta$ :

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ von dem

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

Wie kann man in diesem Modell eine Verteilung der Residuen $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ ?

regression laplace-distribution

— nmerci
quelle

Was meinst du mit einer Verteilung von Residuen?

— jlimahaverford

Da Residuen in einem Zufallsvektor gruppiert werden können, möchte ich dessen Verteilung kennen. Zumindest die ersten beiden Momente.

— Nmerci

Habe ich, danke! Haben Sie darüber nachgedacht, zu simulieren und zu zeichnen?

— jlimahaverford

Ja, ich möchte einen Vertrauensbereich für Residuen erstellen. Beispielsweise ist für Gaußsche Fehler die Region ein Ellipsoid.

— Nmerci

Es wird angenommen, dass die Residuen (tatsächlich als Fehler bezeichnet) zufällig mit einer Doppelexponentialverteilung (Laplace-Verteilung) verteilt sind. Wenn Sie diese x- und y-Datenpunkte anpassen, tun Sie dies numerisch. Sie berechnen zunächst beta-hat_ML für diese Punkte als Ganzes mit der oben angegebenen Formel. Dadurch wird eine Linie durch die Punkte bestimmt. Subtrahieren Sie dann den y-Wert jedes Punkts vom y-Wert der Linie bei diesem x-Wert. Dies ist der Rest für diesen Punkt. Die Residuen aller Punkte können verwendet werden, um ein Histogramm zu erstellen, das Ihnen die Verteilung der Residuen gibt.

Es gibt einen guten mathematischen Artikel von Yang (2014) .

--Lee

— Lee G.
quelle

Der Link funktioniert nicht.

— Michael R. Chernick