Warum sollte man eine WOE-Transformation von kategorialen Prädiktoren in der logistischen Regression durchführen?

10

Wann ist die WOE-Transformation (Weight of Evidence) von kategorialen Variablen sinnvoll?

Das Beispiel ist in der WOE-Transformation zu sehen

(Für eine Antwort und einen kategorialen Prädiktor mit Kategorien und Erfolgen aus Versuchen innerhalb der ten Kategorie dieses Prädiktors ist die WOE für die te Kategorie definiert als $y$ $k$ $y_j$ $n_j$ $j$ $j$

\log \frac{y_{j}}{\sum_{j}^{k} y_{j}} \frac{\sum_{j}^{k} (n_{j} - y_{j})}{n_{j} - y_{j}}

$\log \frac{y_j} {\sum_j^k {y_j}} \frac{\sum_j^k (n_j-y_j)}{n_j-y_j}$

& Die Transformation besteht darin, jede Kategorie des kategorialen Prädiktors mit seinem WOE zu codieren, um einen neuen kontinuierlichen Prädiktor zu bilden.)

Ich möchte den Grund erfahren, warum die WOE-Transformation die logistische Regression unterstützt. Was ist die Theorie dahinter?

logistic categorical-data regression-strategies

— Adam
quelle

6

In dem Beispiel, auf das Sie verlinken, wird der kategoriale Prädiktor durch eine einzelne kontinuierliche Variable dargestellt, die für jede Ebene einen Wert annimmt, der der beobachteten logarithmischen Wahrscheinlichkeit der Antwort in dieser Ebene entspricht (plus einer Konstanten):

\log \frac{y_{j}}{n_{j} - y_{j}} + \log \frac{\sum_{j}^{k} (n_{j} - y_{j})}{\sum_{j}^{k} y_{j}}

$\log \frac{y_j} {n_j-y_j} + \log \frac{\sum_j^k (n_j-y_j)}{\sum_j^k {y_j}}$

Diese Verschleierung hat überhaupt keinen Zweck, den ich mir vorstellen kann: Sie erhalten dieselbe vorhergesagte Antwort, als hätten Sie die übliche Dummy-Codierung verwendet. Die Freiheitsgrade sind jedoch falsch und machen einige nützliche Formen der Folgerung über das Modell ungültig.

Bei einer multiplen Regression mit mehreren zu transformierenden kategorialen Prädiktoren würden Sie vermutlich die WOEs für jede unter Verwendung der marginalen Log-Quoten berechnen. Das wird die vorhergesagten Antworten ändern. Da jedoch Verwirrung nicht berücksichtigt wird - die bedingten Log-Quoten sind keine lineare Funktion der marginalen Log-Quoten -, sehe ich keinen Grund, davon auszugehen, dass es sich um eine Verbesserung handelt, und die Inferenzprobleme bleiben bestehen.

— Scortchi - Monica wieder einsetzen
quelle

Können Sie erklären, warum Freiheitsgrade mit WOE falsch sind? Es ist nur eine Transformation, oder? Was wäre auch, wenn wir mehrere kategoriale Variablen hätten und WOE für jede einzelne einzeln erhalten würden? Nach meiner Erfahrung überlappen sich einige Buckets zwischen verschiedenen Variablen stark, wenn Sie viele kategoriale Variablen haben, und Sie sehen einige Koeffizienten, die unbedeutend sind. Außerdem müssen Sie mehrere Koeffizienten mit sich herumtragen.

— Adam

1

(1) Eine Transformation, die von der Bewertung des Verhältnisses von Prädiktoren zur Antwort abhängt - etwas, das der Regression überlassen bleiben soll. So hat beispielsweise die Likelihood-Ratio-Teststatistik nicht die gleiche Verteilung wie bei einer vordefinierten Transformation. (2) Guter Punkt! - Eine multiple Regression bei WOEs entspricht nicht der bei Dummy-Variablen (es sei denn, die Modelle sind gesättigt). (3) Na und? (4) Koeffizienten sind nicht schwerer als WOEs.

— Scortchi - Monica wieder einsetzen

1

Eine grobe Klassifizierung unter Verwendung des Maßes für das Gewicht der Evidenz (WoE) hat den folgenden Vorteil: WoE zeigt eine lineare Beziehung zum natürlichen Logarithmus des Odds Ratio, der die abhängige Variable in der logistischen Regression ist.
Daher stellt sich die Frage der Modellfehlspezifikation bei der logistischen Regression nicht, wenn WoE anstelle der tatsächlichen Werte der Variablen verwendet wird.

$ln(p/1-p)$ $\alpha$ $\beta$ $WoE(Var1)$ $\gamma$ $WoE(Var2)$ $\eta$ $WoE(Var3 )$

Quelle: In einem der PPTs zeigte mir mein Trainer während des Firmentrainings.

— Srikanth Guhan
quelle

1

"Bei der logistischen Regression tritt keine Modellfehlspezifikation auf, wenn WoE anstelle der tatsächlichen Werte der Variablen verwendet wird." Können Sie dies mathematisch erklären / beweisen?

— Adam

Ich bin nicht von Risikoanalysen Hintergrund aber pg 131.132 dieses Buches zu sagen scheint so books.google.co.in/...

— Srikanth Guhan

Auch dieser Link behauptet das gleiche, obwohl keine Mathematik erklärt wird analyticbridge.com/forum/topics/…

— Srikanth Guhan

Vielen Dank für die Links, aber es ist eindeutig falsch, dass die marginalen Log-Quoten, zu denen WoE proportional ist, eine lineare Beziehung zu den bedingten Log-Quoten haben, mit denen sich die logistische Regression befasst. Verwechslungen mit anderen Prädiktoren können sogar dazu führen, dass WoE-Ordnungskategorien anders sind.

— Scortchi - Monica wieder einsetzen

1

WOE-Transformationen helfen, wenn Sie sowohl numerische als auch kategoriale Daten haben, die Sie kombinieren müssen, und fehlende Werte, aus denen Sie Informationen extrahieren möchten. Durch die Konvertierung von allem in WOE können viele verschiedene Datentypen (auch fehlende Daten) auf derselben Protokollquotenskala "standardisiert" werden. Dieser Blog-Beitrag erklärt die Dinge ziemlich gut: http://multithreaded.stitchfix.com/blog/2015/08/13/weight-of-evidence/

Kurz gesagt, die logistische Regression mit WOE sollte (und wird) nur als Semi-Naive Bayesian Classifier (SNBC) bezeichnet werden. Wenn Sie versuchen, den Algorithmus zu verstehen, ist der Name SNBC für mich weitaus informativer.

— Stephened
quelle