Wie man die Standardfehler der Koeffizienten einer logistischen Regression berechnet

Ich benutze Pythons Scikit-Learn, um eine logistische Regression zu trainieren und zu testen.

scikit-learn gibt die Regressionskoeffizienten der unabhängigen Variablen zurück, liefert jedoch nicht die Standardfehler der Koeffizienten. Ich benötige diese Standardfehler, um eine Wald-Statistik für jeden Koeffizienten zu berechnen und diese Koeffizienten miteinander zu vergleichen.

Ich habe eine Beschreibung gefunden, wie man Standardfehler für die Koeffizienten einer logistischen Regression berechnet ( hier ), aber es ist etwas schwierig zu folgen.

Wenn Sie eine einfache, prägnante Erklärung zur Berechnung dieser Standardfehler kennen und / oder mir eine geben können, wäre ich Ihnen sehr dankbar! Ich meine nicht spezifischen Code (obwohl Sie gerne jeden Code posten, der hilfreich sein könnte), sondern eine algorithmische Erklärung der beteiligten Schritte.

Gibt Ihre Software eine Parameterkovarianz (oder Varianz-Kovarianz) -Matrix an? Wenn ja, sind die Standardfehler die Quadratwurzel der Diagonale dieser Matrix. Sie möchten wahrscheinlich ein Lehrbuch (oder Google für Vorlesungsunterlagen der Universität) zu Rate ziehen, um die Matrix für lineare und verallgemeinerte lineare Modelle zu erhalten.$V_\beta$

Die Standardfehler der Modellkoeffizienten sind die Quadratwurzeln der Diagonaleinträge der Kovarianzmatrix. Folgendes berücksichtigen:

• Entwurfsmatrix:

, wobei x i , j der Wert der ist j Prädiktor für die i- ten Beobachtungen.$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(HINWEIS: Dies setzt ein Modell mit einem Achsenabschnitt voraus.)

• , wobei π i repräsentiert die vorhergesagte Wahrscheinlichkeit einer Klassenmitgliedschaft für die Beobachtung i .$\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

Die Kovarianzmatrix kann wie folgt geschrieben werden:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Dies kann mit dem folgenden Code implementiert werden:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Alles, was gesagt wird, statsmodelswird wahrscheinlich ein besseres Paket sein, wenn Sie Zugriff auf eine Menge "out-of-the-box" -Diagnosen wünschen.

Wenn Sie Schlüsse ziehen möchten, sollten Sie sich wahrscheinlich die Statistikmodelle ansehen . Standardfehler und allgemeine statistische Tests sind verfügbar. Hier ist ein Beispiel für eine logistische Regression .