Wie funktioniert die „schrittweise Regression“?

Ich habe den folgenden R-Code verwendet, um ein Probit-Modell anzupassen:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Ich will wissen , was macht stepwiseund backward/forwardgenau das tun , und wie die Variablen wählen?

Prinzip der schrittweisen Auswahl

1. Sie passen ein Modell mit allen gewünschten Variablen an. Dies ist Ihr derzeit bestes Modell.
2. Sie entfernen eine Variable (oder fügen eine hinzu, unter den Variablen, die im aktuell besten Modell nicht verwendet werden), und für jede passen Sie das neue Modell an und vergleichen sie mit jeder über und mit der ursprünglichen, je nach BIC (oder einer anderen) anderes Kriterium wie AIC ). Sie erhalten ein weiteres "aktuell bestes Modell".

Sie wiederholen 2. bis es keine Reduzierung des BIC gibt. Sie haben nur ein lokales Minimum an BIC, was bedeutet, dass Sie möglicherweise nicht das beste Modell unter allen möglichen Auswahlmöglichkeiten von Teilmengen von Variablen erhalten. Aber es gibt normalerweise zu viele von ihnen, so dass dies ein Weg ist, ein bisschen zu optimieren, ohne zu viel Arbeit.

Siehe auch Schrittweise Regression und Modellauswahl auf Wikipedia.

Die schrittweise Regression passt im Wesentlichen zum Regressionsmodell, indem Kovariaten nacheinander basierend auf einem bestimmten Kriterium hinzugefügt / gelöscht werden (in Ihrem obigen Beispiel würde das Kriterium auf dem BIC basieren).

Wenn Sie vorwärts angeben R, sagen Sie, dass Sie mit dem einfachsten Modell (dh einer Kovariate) beginnen und dann jeweils eine Kovariate hinzufügen möchten, wobei nur diejenigen beibehalten werden, die zu einer Verbesserung des Modell-BIC führen.

Wenn Sie rückwärts angeben R, sagen Sie, dass Sie mit dem vollständigen Modell (dh dem Modell mit allen Kovariaten) beginnen und dann nacheinander Kovariaten löschen möchten, was zu einer Verbesserung des BIC führt.

Die schrittweise Regression kann ein sehr gefährliches statistisches Verfahren sein, da es kein optimales Modellauswahlverfahren ist. Die Methode kann zu einer sehr schlechten Modellauswahl führen, da sie Sie nicht vor Problemen wie Mehrfachvergleichen schützt.