Schätzung der linearen Regression mit OLS vs. ML

8

Angenommen, ich werde eine lineare Regression schätzen, bei der ich . Was ist der Vorteil von OLS gegenüber der ML-Schätzung? Ich weiß, dass wir eine Verteilung von kennen müssen, wenn wir ML-Methoden verwenden, aber da ich davon ausgehe, dass ob ich ML oder OLS verwende, scheint dieser Punkt irrelevant zu sein. Daher sollte der einzige Vorteil von OLS in den asymptotischen Merkmalen der Schätzer liegen. Oder haben wir andere Vorteile der OLS-Methode? $u\sim N(0,\sigma^2)$ $u$ $u\sim N(0,\sigma^2)$ $\beta$

regression least-squares linear-model

— MarkDollar
quelle

14

Unter Verwendung der üblichen Notationen beträgt die Log-Wahrscheinlichkeit der ML-Methode

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$ .

Es muss in Bezug auf und maximiert werden . $\beta_0$ $\beta_1$

Es ist jedoch leicht zu erkennen, dass dies einer Minimierung entspricht

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}$ .

Daher führen sowohl ML als auch OLS zu derselben Lösung.

Weitere Details finden Sie in diesen schönen Vorlesungsskripten .

— ocram
quelle

Vielen Dank für Ihre Antwort ocram. Es ist klar, dass beide Methoden zur gleichen Lösung führen. Aber der OLS sollte leistungsfähiger sein, da die Schätzer effizienter sind als die ML-Schätzer, nicht wahr? Ich wundere mich über die Unterschiede und die Vorteile beider Methoden im Kontext, wenn ich und ich interessiere mich für die Merkmale der Schätzer. Die Werte für sind identisch, aber ich denke daran, dass die asymptotischen Merkmale von OLS-Schätzern vorzuziehen sind. grob gesagt: Wenn ML und OLS die gleichen Ergebnisse und Merkmale der Schätzer liefern, warum sollten wir OLS verwenden?

u \sim N (0, σ^{2})

$u\sim N(0,\sigma^2)$

β

$\beta$

— MarkDollar

10

Der Maximum-Likelihood-Schätzer ist OLS. Da sie genau gleich sind, haben sie die gleichen asymptotischen Eigenschaften.

— Simon Byrne

4

Sie konzentrieren sich in Ihrer Frage auf den falschen Teil des Konzepts. Das Schöne an den kleinsten Quadraten ist, dass es eine schöne, einfache Antwort gibt, unabhängig von der Verteilung, und wenn die wahre Verteilung normal ist, dann ist es auch die Antwort mit der maximalen Wahrscheinlichkeit (ich denke, dies ist das Gauß-Markov davon). Wenn Sie eine andere Verteilung als die normale haben, geben ML und OLS unterschiedliche Antworten (aber wenn die wahre Verteilung nahe an der Normalverteilung liegt, sind die Antworten ähnlich).

— Greg Snow
quelle

0

Der einzige Unterschied für endliche Stichproben besteht darin, dass der ML-Schätzer für die Restvarianz vorgespannt ist. Die Anzahl der im Modell verwendeten Regressoren wird nicht berücksichtigt.

— Druss2k
quelle