Bedeutung von 'Anzahl der Parameter' in AIC

21

Bei der Berechnung von AIC

$AIC = 2k - 2 ln L$

k bedeutet "Anzahl der Parameter". Aber was zählt als Parameter? So zum Beispiel im Modell

$y = ax + b$

Werden a und b immer als Parameter gezählt? Was ist, wenn mir der Wert des Abschnitts egal ist, kann ich ihn ignorieren oder zählt er immer noch?

Was wäre wenn

$y = a f(c,x) + b$

Wo eine Funktion von c und x ist, zähle ich jetzt 3 Parameter? $f$

aic

— Nebenschau Bob
quelle

9

Dies ist eine gute Frage, da es eine Subtilität gibt: ist die Anzahl der zu schätzenden identifizierbaren Parameter. Obwohl im Regressionsmodell fünf Parameter geschrieben sind, ist dennoch . (Dieses Modell entspricht mit und , die explizit nur vier Parameter benötigen .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Streng genommen zählen Sie alle identifizierbaren, freien Parameter - mittlere Parameter, Form- und Skalierungsparameter, unabhängig davon, was für AIC ist. Für AIC ist es jedoch ohne Bedeutung, wenn Sie die für die zu vergleichenden Modelle gemeinsamen Parameter weglassen. Bei der Regression sollten Sie beispielsweise den Varianzparameter zählen. Nach meiner Zählung sind alle Ihre Parameterzählungen in Ihrer Frage eine kurze Zahl - aber wenn es in allen Modellen genau eine gibt, schadet es nicht, sie für AIC fallen zu lassen. R zählt den Varianzparameter explizit, wenn AIC in Regressionsmodellen berechnet wird.

_{C}

$_C$

— Glen_b -Reinstate Monica

@whuber Warum wird dieser exzellente Kommentar nicht als Antwort gepostet? :)

— Alexis

Vielen Dank, @Alexis. Ich habe diesen Gedanken als Kommentar gepostet, weil die Idee in P Schnells Antwort ausreichend behandelt wird: Ich wollte ihn nur ein wenig mehr betonen.

— Whuber

17

Wie bereits erwähnt, steht für die Anzahl der geschätzten Parameter . Mit anderen Worten, es ist die Anzahl der zusätzlichen Mengen, die Sie wissen müssen, um das Modell vollständig zu spezifizieren. Im einfachen linearen Regressionsmodell Sie , oder beides schätzen . Welche Mengen Sie nicht schätzen, müssen Sie korrigieren. Es gibt kein "Ignorieren" eines Parameters in dem Sinne, dass Sie ihn nicht kennen und sich nicht darum kümmern. Das gebräuchlichste Modell, das nicht sowohl als auch schätzt, ist das No-Intercept-Modell, bei dem wir festlegen $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ . Dies wird 1 Parameter haben. Sie können

oder

genauso gut korrigieren, wenn Sie Grund zu der Annahme haben, dass es die Realität widerspiegelt. (Feiner Punkt:

ist auch ein Parameter in einer einfachen linearen Regression, aber da es in jedem Modell vorhanden ist, können Sie es fallen lassen, ohne die Vergleiche von AIC zu beeinflussen.)

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$

Wenn Ihr Modell ist, hängt die Anzahl der Parameter davon ab, ob Sie einen dieser Werte festlegen, und von der Form von . Wenn wir beispielsweise schätzen wollen und wissen, dass , haben wir beim Ausschreiben des Modells mit drei unbekannten Parametern. Wenn jedoch

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

, dann haben wir das Modell

das wirklich nur zwei Parameter hat:

und

.

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

Es ist entscheidend, dass eine Familie von Funktionen ist, die durch indiziert werden . Wenn Sie nur wissen, dass stetig ist und es von und abhängt , haben Sie Pech, weil es unzählige stetige Funktionen gibt. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
quelle

2

(+1) Vielleicht erwähnenswert, dass "Schätzung" durchgehend "Schätzung nach Maximalwahrscheinlichkeit" bedeutet.

— Scortchi - Wiedereinsetzung von Monica

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

2

@SideshowBob: Ja - Wenn Sie zwei Modelle vergleichen, ist der Unterschied in den maximierten Log-Wahrscheinlichkeiten ein verzerrter Schätzer für den Unterschied im erwarteten Kullback-Leibler-Informationsverlust und der Strafbegriff in AIC korrigiert ungefähr diesen Verzerrungsfaktor.

— Scortchi

1

@SideshowBob: Ich sollte erwähnen, dass es Modifikationen von AIC für verallgemeinerte Schätzungsgleichungen und dergleichen gibt - sie verwenden eine maximierte Quasi-Wahrscheinlichkeit und einen etwas komplexeren Strafbegriff.

— Scortchi

4

$\mathit{AIC} = 2k - 2\ln(L)$

(siehe hier )

$k$

Ich fühle mich nicht kompetent genug, um Ihre zweite Frage zu beantworten. Ich überlasse sie einem anderen Mitglied der Community.

— mugen
quelle

1

λ

$\lambda$

1

Ja sicher.

— PA6OTA

1

Erstens für diejenigen, die mit AIC nicht vertraut sind: Das Akaike Information Criterion (AIC) ist eine einfache Metrik, mit der die "Güte" von Modellen verglichen werden kann.

Laut AIC gilt das Modell mit dem niedrigeren AIC als "besser" , wenn versucht wird, zwischen zwei verschiedenen Modellen zu wählen, die auf die gleichen Eingangs- und Antwortvariablen angewendet werden , dh Modelle, die zur Lösung des gleichen Problems entwickelt wurden.

$k$

c $f(c, x)$ $k$

— Arielf
quelle