Wann wird die Schüler- oder Normalverteilung in der linearen Regression verwendet?

10

Ich betrachte einige Probleme und in einigen, um die Koeffizienten zu testen, sehe ich manchmal Leute, die die Schülerverteilung verwenden, und manchmal sehe ich die Normalverteilung. Was ist die Regel?

regression distributions hypothesis-testing

— Löwe
quelle

3

Dies ist keine Antwort, aber beachten Sie, dass sich die Verteilung der Normalverteilung nähert, wenn der Freiheitsgradparameter größer wird. Nach gibt es keinen nennenswerten Unterschied, insbesondere bei den meisten Hypothesentest-Frameworks. Das einschränkende Verhalten ist "von oben" in dem Sinne, dass wenn und , dannist stochastisch größer als.

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$

| T |

$|T|$

| Z |

$|Z|$

— Kardinal

15

Die Normalverteilung ist die große Stichprobenverteilung bei vielen bedeutsamen statistischen Problemen, die eine Version des zentralen Grenzwertsatzes betreffen: Sie haben (ungefähr) unabhängige Informationen, die addiert werden, um zur Antwort zu gelangen. Wenn Parameterschätzungen asymptotisch normal sind, sind ihre Funktionen auch asymptotisch normal (in regulären Fällen).

Andererseits wird die Student Verteilung unter restriktiveren Bedingungen für normale Regressionsfehler abgeleitet. Wenn Sie diese Annahme kaufen können, können Sie die Verteilung kaufen , die zum Testen der Hypothese in der linearen Regression verwendet wird. Die Verwendung dieser Verteilung bietet breitere Konfidenzintervalle als die Verwendung der Normalverteilung. Die wesentliche Bedeutung davon ist, dass Sie in kleinen Stichproben Ihr Maß für die Unsicherheit, den mittleren quadratischen Regressionsfehler oder die Standardabweichung der Residuen schätzen müssen . (In großen Stichproben haben Sie so viele Informationen, als ob Sie es wüssten, sodass die Verteilung zur Normalverteilung degeneriert.) $t$ $t$ $\sigma$ $t$

Es gibt einige Fälle in der linearen Regression, selbst bei endlichen Stichproben, in denen die Student-Verteilung nicht gerechtfertigt werden kann. Sie beziehen sich auf Verstöße gegen die Bedingungen zweiter Ordnung in Bezug auf Regressionsfehler. nämlich, dass sie (1) konstante Varianz und (2) unabhängig sind. Wenn diese Annahmen verletzt werden und Sie Ihre Standardfehler mit dem Eicker / White-Schätzer für heteroskedastische, aber unabhängige Residuen korrigieren ; oder Newey-West- Schätzer für seriell korrelierte Fehler oder gruppierte StandardfehlerFür clusterkorrelierte Daten gibt es keine Möglichkeit, eine vernünftige Begründung für die Verteilung von Schülern zu finden. Wenn Sie jedoch eine geeignete Version des asymptotischen Normalitätsarguments (Traingular-Arrays usw.) verwenden, können Sie die normale Annäherung rechtfertigen (obwohl Sie bedenken sollten, dass Ihre Konfidenzintervalle sehr wahrscheinlich zu eng wären).

— StasK
quelle

1

(+1) Ich liebe die Implikation am Anfang des dritten Absatzes, dass die lineare Regression mit unendlichen (nicht "endlichen") Stichproben durchgeführt wird!

— whuber

@whuber: :) Wenn es in meinen Büchern normal ist, muss es sich auf CLT oder etwas Asymptotisches stützen. Ansonsten macht es so viel Sinn wie diese .

— StasK

6

Ich mag die Darstellung der Schülerverteilung als Mischung aus einer Normalverteilung und einer Gammaverteilung:

S t u d e n t (x | μ, σ^{2}, ν) = \int_{0}^{\infty} N o r m a l (x | μ, \frac{σ^{2}}{ρ}) G a m m a (ρ | \frac{ν}{2}, \frac{ν}{2}) d ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

Es ist zu beachten, dass der Mittelwert der Gammaverteilung und die Varianz dieser Verteilung . Wir können also die t-Verteilung als Verallgemeinerung der Annahme einer konstanten Varianz auf eine "ähnliche" Varianzannahme betrachten. steuert grundsätzlich, wie ähnlich wir die Abweichungen zulassen. Sie sehen dies auch als "zufällig gewichtete" Regression an, da wir das obige Integral wie folgt als "versteckte Variable" darstellen können: $E[\rho|\nu]=1$ $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$

y_{i} = μ_{i} + \frac{e_{i}}{\sqrt{ρ_{i}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

Wobei und alle Variablen unabhängig sind. Tatsächlich ist dies im Grunde nur die Definition der t-Verteilung als $e_i\sim N(0,\sigma^2)$ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

Sie können sehen, warum dieses Ergebnis die Schüler-t-Verteilung im Vergleich zur Normalverteilung "robust" macht, da ein großer Fehler aufgrund eines großen Werts von oder aufgrund eines kleinen Werts von . Da nun allen Beobachtungen gemeinsam ist, aber spezifisch für die i-te ist, ist der allgemeine " Menschenverstand" zu schließen, dass Ausreißer Beweise für kleine . Wenn Sie eine lineare Regression , werden Sie außerdem feststellen, dass das Gewicht für die i-te Beobachtung ist, vorausgesetzt, ist bekannt: $y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\sum_{i} ρ_{i} x_{i} x_{i}^{T})^{- 1} (\sum_{i} ρ_{i} x_{i} y_{i})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

Ein Ausreißer ist also ein Beweis für ein kleines was bedeutet, dass die i-te Beobachtung weniger Gewicht erhält. Zusätzlich ist ein kleiner "Ausreißer" - eine Beobachtung, die viel besser vorhergesagt / angepasst wird als der Rest - ein Beweis für große . Daher wird dieser Beobachtung in der Regression mehr Gewicht beigemessen. Dies entspricht dem, was man intuitiv mit einem Ausreißer oder einem guten Datenpunkt machen würde. $\rho_i$ $\rho_i$

Beachten Sie, dass es keine "Regel" für die Entscheidung dieser Dinge gibt, obwohl meine und andere Antworten auf diese Frage nützlich sein können, um einige Tests zu finden, die Sie entlang des endlichen Varianzpfads durchführen können (Student t ist eine unendliche Varianz für Freiheitsgrade kleiner oder gleich) bis zwei).

— Wahrscheinlichkeitslogik
quelle

+1: Das sieht richtig aus, aber ich denke nicht, dass Sie eine Mischung aus einer Normal- und einer Gammaverteilung sagen sollten, sondern eine Normal-Gamma-Normal-Verbundverteilung, und diese Konstruktion motivieren, indem Sie sagen, dass die Normal-Gamma-Verteilung die ist Konjugat vor der Normalverteilung (parametrisiert durch Mittelwert und Präzision).

— Neil G

Ja, Punkt über die Mischung - obwohl ich mir momentan keinen ungeschickten Weg vorstellen kann, sie zu korrigieren. Beachten Sie, dass diese Form nicht nur für konjugierte Verteilungen gilt. Wenn wir beispielsweise das Gamma-PDF durch ein invertiertes exponentielles PDF ersetzen, erhalten wir die Laplace-Verteilung. Dies führt zu "kleinsten absoluten Abweichungen" anstelle von kleinsten Quadraten als eine Form der Robustheit der Normalverteilung. Andere Verteilungen würden zu anderen "Robustifizierungen" führen - vielleicht nicht so analytisch hübsch wie Studenten.

— Wahrscheinlichkeitslogik

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$