Interpretation von exp (B) in der multinomialen logistischen Regression

16

Dies ist eine Anfängerfrage, aber wie interpretiert man ein exp (B) -Ergebnis von 6.012 in einem multinomialen logistischen Regressionsmodell?

1) Ist das Risiko um 6.012-1.0 = 5.012 = 5012% gestiegen?

oder

2) 6,012 / (1 + 6,012) = 0,857 = 85,7% Risikoerhöhung?

Falls beide Alternativen falsch sind, kann jemand bitte den richtigen Weg nennen?

Ich habe viele Ressourcen im Internet durchsucht und komme zu diesen beiden Alternativen, und ich bin nicht ganz sicher, welche richtig ist.

multinomial

— user6911
quelle

35

Wir werden eine Weile brauchen , um dorthin zu gelangen, aber zusammenfassend multipliziert eine Änderung der Variable, die B entspricht , um eine Einheit das relative Risiko des Ergebnisses (im Vergleich zum Basisergebnis) mit 6,012.

Man könnte dies als einen Anstieg des relativen Risikos um "5012%" ausdrücken , aber das ist eine verwirrende und möglicherweise irreführende Methode, da dies nahelegt, dass wir uns die Änderungen additiv überlegen sollten, wenn uns das multinomiale Logistikmodell tatsächlich nachdrücklich dazu ermutigt multiplikativ denken. Der Modifikator "relativ" ist wichtig, da durch eine Änderung einer Variablen gleichzeitig die vorhergesagten Wahrscheinlichkeiten aller Ergebnisse geändert werden , nicht nur die fraglichen. Daher müssen wir Wahrscheinlichkeiten vergleichen (anhand von Verhältnissen, nicht Differenzen).

Der Rest dieser Antwort enthält die Terminologie und Intuition, die zur korrekten Interpretation dieser Aussagen erforderlich sind.

Hintergrund

Beginnen wir mit der normalen logistischen Regression, bevor wir zum multinomialen Fall übergehen.

Für die abhängige (binäre) Variable und die unabhängigen Variablen lautet das Modell $Y$ $X_i$

Pr [Y = 1] = \frac{\exp (β_{1} X_{1} + \dots + β_{m} X_{m})}{1 + \exp (β_{1} X_{1} + \dots + β_{m} X_{m})};

$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$

äquivalent unter der Annahme , $0 \ne \Pr[Y=1] \ne 1$

\log (ρ (X_{1}, \dots, X_{m})) = \log \frac{Pr [Y = 1]}{Pr [Y = 0]} = β_{1} X_{1} + \dots + β_{m} X_{m} .

$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$

(Dies definiert einfach , das ist die Quote als Funktion von .) $\rho$ $X_i$

Indizieren Sie der Allgemeinheit so, dass die Variable und das "B" in der Frage ist (damit ). Das Fixieren der Werte von und das Variieren von um einen kleinen Betrag ergibt $X_i$ $X_m$ $\beta_m$ $\exp(\beta_m)=6.012$ $X_i, 1\le i\lt m$ $X_m$ $\delta$

\log (ρ (\dots, X_{m} + δ)) - \log (ρ (\dots, X_{m})) = β_{m} δ .

$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$

Somit ist die marginale Änderung der Log-Quoten in Bezug auf . $\beta_m$ $X_m$

Um , müssen wir offensichtlich und die linke Seite : $\exp(\beta_m)$ $\delta=1$

\begin{aligned} \exp (β_{m}) & = \exp (β_{m} \times 1) \\ = \exp (\log (ρ (\dots, X_{m} + 1)) - \log (ρ (\dots, X_{m}))) \\ = \frac{ρ (\dots, X_{m} + 1)}{ρ (\dots, X_{m})} . \end{aligned}

$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$

Dies zeigt als Odds Ratio für einen Anstieg von um eine Einheit . Um eine Vorstellung davon zu entwickeln, was dies bedeuten könnte, tabellieren Sie einige Werte für einen Bereich von Startquoten, und runden Sie sie stark ab, um die Muster hervorzuheben: $\exp(\beta_m)$ $X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Bei sehr kleinen Gewinnchancen, die sehr kleinen Wahrscheinlichkeiten entsprechen, bewirkt eine Erhöhung von um eine Einheit , dass die Gewinnchancen oder die Wahrscheinlichkeit mit etwa 6,012 multipliziert werden. Der multiplikative Faktor nimmt mit zunehmender Wahrscheinlichkeit ab und ist im Wesentlichen verschwunden, sobald die Wahrscheinlichkeit 10 überschreitet (die Wahrscheinlichkeit 0,9 überschreitet). $X_m$

Verhältnisänderung der Wahrscheinlichkeit

Als additive Änderung gibt es keinen großen Unterschied zwischen einer Wahrscheinlichkeit von 0,0001 und 0,0006 (es ist nur 0,05%), noch gibt es einen großen Unterschied zwischen 0,99 und 1 (nur 1%). Der größte additive Effekt tritt auf, wenn die Quote , wobei sich die Wahrscheinlichkeit von 29% auf 71% ändert: eine Änderung von + 42%. $1/\sqrt{6.012} \sim 0.408$

Additive Wahrscheinlichkeitsänderung

Wir sehen also, dass, wenn wir "Risiko" als Odds Ratio ausdrücken, = "B" eine einfache Interpretation hat - das Odds Ratio ist gleich für eine Einheitserhöhung von aber wenn wir in einigen Fällen Risiko ausdrücken Auf andere Weise, beispielsweise bei einer Änderung der Wahrscheinlichkeiten, erfordert die Interpretation Sorgfalt bei der Angabe der Startwahrscheinlichkeit. $\beta_m$ $\beta_m$ $X_m$

Multinomiale logistische Regression

(Dies wurde als spätere Bearbeitung hinzugefügt.)

Nachdem wir den Wert der Verwendung von log Odds zur Darstellung von Chancen erkannt haben, gehen wir zum multinomialen Fall über. Nun kann die abhängige Variable einer von Kategorien entsprechen, indiziert durch . Die relative Wahrscheinlichkeit, dass es in der Kategorie ist, ist $Y$ $k \ge 2$ $i=1, 2, \ldots, k$ $i$

Pr [Y_{i}] \sim \exp (β_{1}^{(i)} X_{1} + \dots + β_{m}^{(i)} X_{m})

$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$

mit zu bestimmenden Parametern und Schreiben von für . Als Abkürzung schreiben wir den rechten Ausdruck als oder, wenn und aus dem Kontext hervorgehen, einfach als . Das Normalisieren, um alle diese relativen Wahrscheinlichkeiten zur Summe zu machen, ergibt die Einheit $\beta_j^{(i)}$ $Y_i$ $\Pr[Y=\text{category }i]$ $p_i(X,\beta)$ $X$ $\beta$ $p_i$

Pr [Y_{i}] = \frac{p_{i} (X, β)}{p_{1} (X, β) + \dots + p_{m} (X, β)} .

$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$

(Die Parameter sind nicht eindeutig: Es gibt zu viele. Normalerweise wählt man eine "Basis" -Kategorie zum Vergleich und zwingt alle ihre Koeffizienten auf Null. Dies ist jedoch erforderlich, um eindeutige Schätzungen der Betas zu melden.) Es ist nicht erforderlich, die Koeffizienten zu interpretieren. Um die Symmetrie beizubehalten, dh künstliche Unterscheidungen zwischen den Kategorien zu vermeiden, sollten wir keine solche Einschränkung erzwingen, es sei denn, wir müssen.)

Eine Möglichkeit zur Interpretation dieses Modells besteht darin, die marginale Änderungsrate der Log-Quoten für eine Kategorie (z. B. Kategorie ) in Bezug auf eine der unabhängigen Variablen (z. B. ) . Das heißt, wenn wir ein wenig ändern, führt dies zu einer Änderung der Log-Quoten von . Wir sind an der Proportionalitätskonstante interessiert, die diese beiden Änderungen miteinander verbindet. Die Kettenregel des Kalküls sagt uns zusammen mit einer kleinen Algebra, dass diese Änderungsrate ist $i$ $X_j$ $X_j$ $Y_i$

\frac{\partial log odds (Y_{i})}{\partial X_{j}} = β_{j}^{(i)} - \frac{β_{j}^{(1)} p_{1} + \dots + β_{j}^{(i - 1)} p_{i - 1} + β_{j}^{(i + 1)} p_{i + 1} + \dots + β_{j}^{(k)} p_{k}}{p_{1} + \dots + p_{i - 1} + p_{i + 1} + \dots + p_{k}} .

$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$

Dies hat eine relativ einfache Interpretation als der Koeffizient von in der Formel für die Wahrscheinlichkeit, dass in der Kategorie minus einer "Anpassung" ist. Die Anpassung ist der wahrscheinlichkeitsgewichtete Durchschnitt der Koeffizienten von in allen anderen Kategorien . Die Gewichte werden unter Verwendung von Wahrscheinlichkeiten berechnet, die den aktuellen Werten der unabhängigen Variablen . Daher ist die marginale Änderung der Protokolle nicht unbedingt konstant: Sie hängt von den Wahrscheinlichkeiten aller anderen Kategorien ab, nicht nur von der Wahrscheinlichkeit der betreffenden Kategorie (Kategorie ). $\beta_j^{(i)}$ $X_j$ $Y$ $i$ $X_j$ $X$ $i$

Wenn es nur Kategorien gibt, sollte sich dies auf eine normale logistische Regression reduzieren. In der Tat hat die Wahrscheinlichkeitsgewichtung keine Auswirkung und (Auswahl von ) ergibt einfach die Differenz . Wenn die Kategorie der Basisfall ist, wird dies weiter auf reduziert , da wir erzwingen . So verallgemeinert die neue Interpretation die alte. $k=2$ $i=2$ $\beta_j^{(2)} - \beta_j^{(1)}$ $i$ $\beta_j^{(2)}$ $\beta_j^{(1)}=0$

Um direkt zu interpretieren , werden wir es auf einer Seite der vorhergehenden Formel isolieren, was zu Folgendem führt: $\beta_j^{(i)}$

Der Koeffizient der für die Klasse die marginale Veränderung ist gleich in den Log - Odds der Kategorie in Bezug auf die variable , sowie die Wahrscheinlichkeit gewichtete Durchschnitt der Koeffizienten aller anderen für die Klasse . $X_j$ $i$ $i$ $X_j$ $X_{j'}$ $i$

Eine andere Interpretation, wenn auch etwas weniger direkt, ergibt sich, wenn die Kategorie (vorübergehend) als Basisfall festgelegt wird, wodurch für alle unabhängigen Variablen : $i$ $\beta_j^{(i)}=0$ $X_j$

Die marginale Änderungsrate der logarithmischen Quoten des Basisfalls für die Variable ist das Negative des wahrscheinlichkeitsgewichteten Durchschnitts seiner Koeffizienten für alle anderen Fälle. $X_j$

Das Verwenden dieser Interpretationen erfordert normalerweise das Extrahieren der Betas und der Wahrscheinlichkeiten aus der Software-Ausgabe und das Ausführen der Berechnungen wie gezeigt.

Schließlich ist für die potenzierten Koeffizienten zu beachten, dass das Verhältnis der Wahrscheinlichkeiten zwischen zwei Ergebnissen (manchmal als das "relative Risiko" von Vergleich zu ) ist $i$ $i'$

\frac{Y_{i}}{Y_{i^{'}}} = \frac{p_{i} (X, β)}{p_{i^{'}} (X, β)} .

$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$

Erhöhen wir um eine Einheit auf . Dies multipliziert mit und mit , wobei das relative Risiko mit multipliziert wird. = . Wird die Kategorie als Basisfall herangezogen, reduziert sich dies auf , was uns dazu veranlasst zu sagen, $X_j$ $X_j+1$ $p_{i}$ $\exp(\beta_j^{(i)})$ $p_{i'}$ $\exp(\beta_j^{(i')})$ $\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$ $\exp(\beta_j^{(i)}-\beta_j^{(i')})$ $i'$ $\exp(\beta_j^{(i)})$

Der potenzierte Koeffizient ist der Betrag, mit dem das relative Risiko multipliziert wird wenn die Variable um eine Einheit erhöht wird. $\exp(\beta_j^{(i)})$ $\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$ $X_j$

— whuber
quelle

1

Tolle Erklärungen, aber das OP hat ausdrücklich nach dem multinomialen Modell gefragt . Ich lese möglicherweise mehr in die Frage als vom OP beabsichtigt, und die Erklärung für den Binärfall mag angemessen sein, aber ich würde es begrüßen, wenn diese Antwort auch den allgemeinen multinomialen Fall abdeckt. Auch wenn die Parametrisierung ähnlich ist, beziehen sich die "Log-Quoten" im Allgemeinen auf eine (willkürliche) Referenzkategorie, und sie sind nicht wirklich Log-Quoten, und eine Änderung der Einheit in führt zu einer kombinierten Änderung dieser "Logs" -odds ", und eine zunehmende" log-odds "impliziert nicht und steigende Wahrscheinlichkeit.

X_{i}

$X_i$

— NRH

@ NRH Das ist ein ausgezeichneter Punkt. Ich hatte irgendwie "multivariate" anstelle von "multinomial" gelesen. Wenn ich Gelegenheit bekomme, darauf zurückzukommen, werde ich versuchen, diese Details zu präzisieren. Glücklicherweise ist die gleiche Art der Analyse wirksam, um die richtige Interpretation zu finden.

— Whuber

@NRH Fertig. Ich begrüße Ihre Vorschläge (oder die anderer), wie die Interpretation klarer werden kann, oder alternative Interpretationen.

— whuber

1

Danke, dass du das aufgeschrieben hast. Die vollständige Antwort ist eine sehr gute Referenz.

— NRH

1

Versuchen Sie, diese Erklärung zusätzlich zu dem zu berücksichtigen, was @whuber bereits so gut geschrieben hat. Wenn exp (B) = 6, dann ist das mit einer Zunahme von 1 auf dem fraglichen Prädiktor verbundene Quotenverhältnis 6. In einem multinomialen Kontext meinen wir mit "Quotenverhältnis" das Verhältnis dieser beiden Größen: a) die Quoten ( keine Wahrscheinlichkeit, sondern p / [1-p]) eines Falls, der den Wert der in der fraglichen Ausgabetabelle angegebenen abhängigen Variablen annimmt, und b) die Wahrscheinlichkeit eines Falls, der den Referenzwert der abhängigen Variablen annimmt.

Sie scheinen zu versuchen, die Wahrscheinlichkeit eines Falls in der einen oder der anderen Kategorie zu quantifizieren - und nicht die einer oder anderen. Um dies zu tun, müssten Sie wissen, mit welchen Wahrscheinlichkeiten der Fall "begonnen" hat - dh bevor wir die Erhöhung von 1 für den fraglichen Prädiktor angenommen haben. Die Wahrscheinlichkeitsverhältnisse variieren von Fall zu Fall, während das Verhältnis der Wahrscheinlichkeiten, das mit einer Erhöhung des Prädiktors um 1 verbunden ist, gleich bleibt.

— rolando2
quelle

"Wenn exp (B) = 6, dann ist das Quotenverhältnis, das mit einer Zunahme von 1 auf dem fraglichen Prädiktor verbunden ist, 6", wenn ich @ whubers Antwort richtig lese, heißt es, dass das Quotenverhältnis mit einer Zunahme von 6 multipliziert wird 1 auf dem Prädiktor. Das heißt, das neue Quotenverhältnis wird nicht 6 sein. Oder interpretiere ich die Dinge falsch?

— RBM

Wo Sie sagen , „das neue Chancen - Verhältnis nicht mehr als 6 wird“ würde ich sagen , „die neuen Chancen nicht 6 ... aber das Verhältnis der neuen zu den alten Chancen wird 6.“

— Rolando2

Ja, dem stimme ich zu! Aber ich dachte nur, dass "die Quote, die mit einem Anstieg von 1 auf den fraglichen Prädiktor verbunden ist, 6 ist", das nicht wirklich aussagt. Aber vielleicht interpretiere ich es dann einfach falsch. Danke für die Klarstellung!

— RBM

1

Ich suchte auch nach der gleichen Antwort, aber die oben genannten waren für mich nicht zufriedenstellend. Es schien zu komplex für das, was es wirklich ist. Also werde ich meine Interpretation geben, bitte korrigiere mich, wenn ich falsch liege.

Lesen Sie jedoch bis zum Ende, da es wichtig ist.

Zuallererst sind die Werte B und Exp (B) die, nach denen Sie suchen. Wenn das B negativ ist, ist Ihre Exp (B) niedriger als eins, was bedeutet, dass die Gewinnchancen sinken. Bei einem höheren Wert ist Exp (B) höher als 1, was bedeutet, dass sich die Gewinnchancen erhöhen. Da multiplizieren Sie mit dem Faktor Exp (B).

Leider bist du noch nicht da. Da Ihre abhängige Variable in einer multinominalen Regression mehrere Kategorien hat, bezeichnen wir diese Kategorien als D1, D2 und D3. Davon ist Ihre letzte die Referenzkategorie. Nehmen wir an, Ihre erste unabhängige Variable ist Geschlecht (Männer gegen Frauen).

Angenommen, die Ausgabe für D1 -> Männer ist exp (B) = 1,21. Dies bedeutet, dass sich die Chancen für Männer um den Faktor 1,21 erhöhen, wenn sie in der Kategorie D1 und nicht in der Kategorie D3 (Referenzkategorie) im Vergleich zu Frauen (Referenzkategorie) liegen.

Sie vergleichen also immer mit Ihrer Referenzkategorie der abhängigen, aber auch der unabhängigen Variablen. Dies gilt nicht, wenn Sie eine kovariate Variable haben. In diesem Fall würde es bedeuten; Eine Erhöhung von X um eine Einheit erhöht die Wahrscheinlichkeit, in der Kategorie D1 statt D3 zu stehen, um den Faktor 1,21.

Für diejenigen mit einer ordinalen abhängigen Variablen:

Wenn Sie eine ordinale abhängige Variable haben und keine ordinale Regression durchgeführt haben, zum Beispiel aufgrund der Annahme proportionaler Quoten. Denken Sie daran, dass Ihre höchste Kategorie die Referenzkategorie ist. Ihr Ergebnis wie oben ist gültig zu melden. Bedenken Sie jedoch, dass eine Erhöhung der Gewinnchancen eine Erhöhung der Gewinnchancen bedeutet, eher in der unteren als in der oberen Kategorie zu sein! Dies ist jedoch nur möglich, wenn Sie eine ordinale abhängige Variable haben.

Wenn Sie den prozentualen Anstieg wissen möchten, nehmen Sie eine fiktive Gewinnchancen-Zahl, sagen wir 100, und multiplizieren Sie sie mit 1,21, was 121 ist. Verglichen mit 100, wie viel hat es sich prozentual verändert?

— Fico
quelle

0

Angenommen, exp (b) in einem mlogit ist 1,04. Wenn Sie eine Zahl mit 1,04 multiplizieren, erhöht sich diese um 4%. Das ist das relative Risiko, in der Kategorie a statt b zu sein. Ich vermute, dass ein Teil der Verwirrung hier mit 4% (multiplikative Bedeutung) und 4 Prozentpunkten (additive Bedeutung) zu tun haben könnte. Die prozentuale Interpretation ist korrekt, wenn es sich um eine prozentuale Änderung und nicht um eine prozentuale Punktänderung handelt. (Letzteres wäre ohnehin nicht sinnvoll, da relative Risiken nicht in Prozent ausgedrückt werden.)

— Natalia
quelle