Kann ich glm-Algorithmen verwenden, um eine multinomiale logistische Regression durchzuführen?

14

Ich verwende spotfire (S ++) für die statistische Analyse in meinem Projekt und muss für einen großen Datensatz eine multinomiale logistische Regression ausführen. Ich weiß, der beste Algorithmus wäre mlogit gewesen, aber leider ist das in s ++ nicht verfügbar. Ich habe jedoch die Möglichkeit, den glm-Algorithmus für diese Regression zu verwenden. Ich möchte hier zwei Dinge klarstellen:

1.Ist es meines Erachtens richtig, dass glm auch zum Ausführen der multinomialen logistischen Regression verwendet werden kann?

Wenn die Antwort auf die vorherige Frage ja lautet, welche Parameter sollten dann in glm algo verwendet werden?

Vielen Dank,

generalized-linear-model logistic

— Raghvendra
quelle

9

Ja, mit einem Poisson GLM (log lineares Modell) können Sie multinomiale Modelle anpassen. Daher sind multinomiale logistische oder logarithmische lineare Poisson-Modelle äquivalent.

Sie müssen Zufallszahlen $y_{ij}$ als Poisson-Zufallsvariablen mit dem Mittel und das folgende logarithmische lineare Modell angeben $μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Um ein multinomiales Logit-Modell zu erhalten, sind die Parameter:

Ein Parameter für jede multinomiale Beobachtung, zum Beispiel Einzelpersonen oder Gruppen. Dies stellt eine genaue Reproduktion der multinomialen Nenner sicher und stellt tatsächlich die Äquivalenz von Poisson und multinomialem Modell her. Sie sind in der multinomialen Wahrscheinlichkeit festgelegt, in der Poisson-Wahrscheinlichkeit jedoch zufällig. $p_i$

Ein Parameter für jede Antwortkategorie. Auf diese Weise können die Zählungen für jede Antwortkategorie unterschiedlich sein und die Ränder können ungleichmäßig sein. $c_j$

Was Sie wirklich interessiert, sind die Interaktionsterme , die die Auswirkungen von auf die logarithmischen Wahrscheinlichkeiten der Antwort . $x_iβ_j$ $x_i$ $j$

Die logarithmischen Quoten können einfach durch . Es ist die logarithmische Wahrscheinlichkeit, dass die Beobachtung i in die Antwortkategorie j relativ zur Antwortkategorie fällt . $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

Dann können die Parameter im multinomialen Logit-Modell (in lateinischen Buchstaben angegeben) als Unterschiede zwischen den Parametern im entsprechenden log-linearen Modell erhalten werden, dh und . $a_j = α_j-α_k$ $b_j = β_j-β_k$

— Momo
quelle

Vielen Dank, Momo. Das ist sehr hilfreich. Meine Software bietet mir die Möglichkeit, Familie als "Besitz" und Verknüpfung als "Protokoll" auszuwählen, während der GLM-Algorithmus ausgeführt wird. Ich denke, genau das ist hier erforderlich.

— Raghvendra

7

Ja, das können Sie, und genau das leistet das R-Paket GLMNET für die multinomiale logistische Regression. Schreiben der Log-Likelihood-Funktion als:

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

Dabei bezeichnet Beobachtungen und die multinomialen Kategorien. ist die Anzahl der Beobachtungen für die Beobachtung in Kategorie . Die Beobachtungen werden durch ihre eindeutigen Kovariatenkombinationen definiert - oder alternativ können wir Duplikate zulassen und jedes sodass wir kategoriale "binäre" Daten haben (... wissen nicht, was der Plural von binär ist. ...). Für die logistische Regression sind die Wahrscheinlichkeiten wie folgt definiert: $i$ $c$ $n_{ic}$ $i$ $c$ $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

Dies ist eine weniger als vollständige Parametrisierung und kann hilfreich sein, wenn Sie die bestrafte Wahrscheinlichkeit verwenden (z. B. GLMNET). Wir könnten im Prinzip IRLS / Newton Rhapson für die vollständige Beta-Matrix , Sie erhalten jedoch nicht-diagonale Gewichtsmatrizen. Alternativ können wir den "Gibbs-Stil" optimieren, indem wir alle Kategorien-Betas bis auf eine festlegen und dann direkt über dieser Kategorie optimieren. Fahren Sie dann mit der nächsten Kategorie fort und so weiter. Sie können das sehen, weil die Wahrscheinlichkeiten die Form haben $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

Dass die quadratische Erweiterung um dieselbe Form hat wie für die logistische Regression, jedoch mit unterschiedlich berechneten IRLS-Gewichten - obwohl wir immer noch im üblichen Update der Beta. $\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— Wahrscheinlichkeitslogik
quelle

Ich versuche, eine multinomiale logistische Regression mit der IRLS QR Newton-Variante zu implementieren. Der Code funktioniert für andere GLM-Modelle, konnte mlogit jedoch nicht zum Laufen bringen. Wäre das der Jacobi der Softmax-Funktion, der es mir erlauben würde, den Cholesky nur einmal pro Iteration zu berechnen, anstatt mal für jeden Satz von Gewichten pro Ergebnis zu lösen?

W

$W$

k

$k$

— José Bayoán Santiago Calderón

Angesichts der Tatsache, dass es nicht diagonal wäre, würde es sich bei einer großen Anzahl von Beobachtungen nicht gut skalieren lassen, oder? Würde das Subtrahieren der Basiskategorieparameter von der Matrix vor oder nach der Vorhersage erfolgen, wenn "Gibbs-style" gewählt würde ?

β

$\beta$

— José Bayoán Santiago Calderón

Wenn Sie von "cholesky once" oder "cholesky k times" sprechen, müssen Sie beachten, dass die Matrizen unterschiedliche Dimensionen haben. Wenn Spalten in vorhanden sind, gilt das "once" für eine Matrix und das "k times" für eine matrixgroße

p

$p$

X

$X$

p k

$pk$

p

$p$

— Wahrscheinlichkeitsanalyse