Auswertung eines logistischen Regressionsmodells

Ich arbeite an einem Logistikmodell und habe einige Schwierigkeiten, die Ergebnisse zu bewerten. Mein Modell ist ein Binomial Logit. Meine erklärenden Variablen sind: eine kategoriale Variable mit 15 Ebenen, eine dichotome Variable und 2 stetige Variablen. Mein N ist groß> 8000.

Ich versuche, die Entscheidung von Unternehmen zu modellieren, zu investieren. Die abhängige Variable ist Investition (ja / nein), die 15 Variablen sind unterschiedliche Hindernisse für Investitionen, die von Managern gemeldet werden. Die restlichen Variablen sind Kontrollen für Verkäufe, Gutschriften und genutzte Kapazität.

Unten sind meine Ergebnisse, mit dem rmsPaket in R.

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

Grundsätzlich möchte ich die Regression auf zwei Arten bewerten: a) wie gut das Modell zu den Daten passt und b) wie gut das Modell das Ergebnis vorhersagt. Zur Beurteilung der Anpassungsgüte (a) halte ich Abweichungstests auf der Grundlage des Chi-Quadrats in diesem Fall für nicht angemessen, da die Anzahl der eindeutigen Kovariaten ungefähr N beträgt, sodass wir keine X2-Verteilung annehmen können. Ist diese Interpretation richtig?

Ich kann die Kovariaten mit dem epiRPaket sehen.

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

Ich habe auch gelesen, dass der Hosmer-Lemeshow-GoF-Test veraltet ist, da er die Daten durch 10 teilt, um den Test auszuführen, der ziemlich willkürlich ist.

Stattdessen verwende ich den im rmsPaket implementierten Cessie-van-Houwelingen-Copas-Hosmer-Test . Ich weiß nicht genau, wie dieser Test durchgeführt wird, ich habe die Artikel darüber noch nicht gelesen. In jedem Fall sind die Ergebnisse:

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

P ist groß, daher gibt es nicht genügend Beweise dafür, dass mein Modell nicht passt. Groß! Jedoch....

Bei der Überprüfung der Vorhersagekapazität des Modells (b) zeichne ich eine ROC-Kurve und stelle fest, dass die AUC gleich ist 0.6320586. Das sieht nicht sehr gut aus.

Also, um meine Fragen zusammenzufassen:

1. Sind die von mir durchgeführten Tests für die Überprüfung meines Modells geeignet? Welchen anderen Test könnte ich in Betracht ziehen?

2. Finden Sie das Modell überhaupt nützlich oder würden Sie es aufgrund der relativ schlechten Ergebnisse der ROC-Analyse ablehnen?

Es gibt viele tausend Tests, mit denen man ein logistisches Regressionsmodell untersuchen kann. Ein Großteil davon hängt davon ab, ob Vorhersage, Klassifizierung, Variablenauswahl, Inferenz, Kausalmodellierung usw. das Ziel sind. Der Hosmer-Lemeshow-Test beispielsweise bewertet dies Modellkalibrierung und ob vorhergesagte Werte tendenziell mit der vorhergesagten Häufigkeit übereinstimmen, wenn sie durch Risikodekile aufgeteilt werden. Obwohl die Wahl von 10 willkürlich ist, hat der Test asymptotische Ergebnisse und kann leicht modifiziert werden. Der HL-Test sowie die AUC haben (meiner Meinung nach) sehr uninteressante Ergebnisse, wenn sie mit denselben Daten berechnet wurden, die zur Schätzung des logistischen Regressionsmodells verwendet wurden. Es ist ein Wunder, dass Programme wie SAS und SPSS das häufige Berichten von Statistiken für ganz andere Analysen de facto gemacht habenDarstellung logistischer Regressionsergebnisse. Tests der Vorhersagegenauigkeit (z. B. HL und AUC) werden besser mit unabhängigen Datensätzen oder (noch besser) Daten verwendet, die über verschiedene Zeiträume hinweg gesammelt wurden, um die Vorhersagefähigkeit eines Modells zu beurteilen.

Ein weiterer Punkt ist, dass Vorhersage und Schlussfolgerung sehr unterschiedliche Dinge sind. Es gibt keinen objektiven Weg, die Vorhersage zu bewerten. Eine AUC von 0,65 ist sehr gut, um sehr seltene und komplexe Ereignisse wie das Brustkrebsrisiko eines Jahres vorherzusagen. In ähnlicher Weise kann die Folgerung als willkürlich beschuldigt werden, da die traditionelle Falsch-Positiv-Rate von 0,05 nur allgemein herumgeworfen wird.

Wenn ich Sie wäre, wäre Ihre Problembeschreibung anscheinend daran interessiert, die Auswirkungen der vom Manager gemeldeten "Investitionshindernisse" zu modellieren. Konzentrieren Sie sich daher auf die Darstellung der modellangepassten Assoziationen. Präsentieren Sie die Punktschätzungen und 95% -Konfidenzintervalle für die Modellquotenverhältnisse und seien Sie darauf vorbereitet, ihre Bedeutung, Interpretation und Gültigkeit mit anderen zu diskutieren. Ein Waldstück ist ein effektives grafisches Werkzeug. Sie müssen auch die Häufigkeit dieser Hindernisse in den Daten anzeigen und deren Vermittlung durch andere Anpassungsvariablen darstellen, um zu zeigen, ob die Möglichkeit einer Verwechslung bei nicht angepassten Ergebnissen gering oder groß war. Ich würde noch weiter gehen und Faktoren wie das Cronbach-Alpha untersuchen, um festzustellen, ob Manager tendenziell ähnliche Probleme melden oder

Ich denke, Sie sind ein bisschen zu sehr auf die Zahlen und nicht auf die Frage konzentriert. 90% einer guten Statistikpräsentation finden statt, bevor die Modellergebnisse jemals präsentiert werden.