Matrixnotation für logistische Regression

In der linearen Regression (quadratischer Verlust) haben wir mithilfe der Matrix eine sehr präzise Notation für das Ziel

$$\text{minimize}~~ \|Ax-b\|^2$$

Dabei ist $A$ die Datenmatrix, $x$ die Koeffizienten und $b$ die Antwort.

Gibt es eine ähnliche Matrixnotation für das logistische Regressionsziel? Alle die Bezeichnungen ich gesehen habe , kann nicht von der Summe über alle Datenpunkte loszuwerden (so etwas wie $\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ ).

---

EDIT: danke für joceratops und die tolle antwort von AdamO. Ihre Antwort half mir zu erkennen, dass ein weiterer Grund für eine präzisere Schreibweise der linearen Regression die Definition der Norm ist, die das Quadrat und die Summe oder einschließt . Bei logistischen Verlusten gibt es jedoch keine solche Definition, was die Notation etwas komplizierter macht.$e^\top e$

In der linearen Regression hat die MLE-Lösung (Maximize Likelihood Estimation) zur Schätzung von $x$ die folgende geschlossene Lösung (unter der Annahme, dass A eine Matrix mit vollem Spaltenrang ist):

$$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$$

Dies wird als "Finde das $x$ , das die Zielfunktion minimiert, $\|Ax-b\|_2^2$ " gelesen . Die nette Sache über die lineare Regression Zielfunktion auf diese Weise darstellt, dass wir alles in Matrizenschreibweise halten können und für lösen x lin von Hand. Wie Alex R. erwähnt, wird ( A T A ) - 1 in der Praxis häufig nicht direkt berücksichtigt, da es rechnerisch ineffizient ist und A häufig nicht die vollständigen Rangkriterien erfüllt. Stattdessen wenden wir uns der Moore-Penrose-Pseudoinverse zu$\hat{x}_\text{lin}$$(A^TA)^{-1}$$A$. Die Details der rechnerischen Lösung für das Pseudo-Inverse können die Cholesky-Dekomposition oder die Singular-Wert-Dekomposition beinhalten.

Alternativ lautet die MLE-Lösung zur Schätzung der Koeffizienten in der logistischen Regression:

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$$

wobei (unter der Annahme, dass jede Datenprobe zeilenweise gespeichert wird):

$x$ ist ein Vektor, der Regressionskoeffizienten darstellt

$a^{(i)}$ ist ein Vektor stellt die$i^{th}$ sample / Zeile inDatenmatrix$A$

$y^{(i)}$ ist ein Skalar in$\{0, 1\}$ und dieBezeichnung$i^{th}$ entspricht der Bezeichnung$i^{th}$ Probe

$N$ ist die Anzahl von Datenabtastwerten / Anzahl der Zeilen in der Datenmatrix $A$ .

Dies wird wiederum als "Finde das $x$ , das die Zielfunktion minimiert " gelesen .

Wenn Sie wollten, könnten Sie es einen Schritt weiter und stellen x log$\hat{x}_\text{log}$ in Matrix - Schreibweise wie folgt:

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$$

aber du bekommst nichts davon. Die logistische Regression hat keine geschlossene Lösung und bietet nicht die gleichen Vorteile wie die lineare Regression, wenn sie in Matrixnotation dargestellt wird. Um zu lösen x log Schätzungstechniken wie Gradientenabstiegs und dem Newton-Raphson - Verfahren verwendet. Durch einige dieser Techniken (dh Newton-Raphson) x log$\hat{x}_\text{log}$$\hat{x}_\text{log}$ approximiert wird und in Matrixschreibweise dargestellt ( siehe Link von Alex R. vorgesehen ).

@joceratops answer konzentriert sich auf das Optimierungsproblem der maximalen Wahrscheinlichkeit für eine Schätzung. Dies ist in der Tat ein flexibler Ansatz, der für viele Arten von Problemen geeignet ist. Für die Schätzung der meisten Modelle, einschließlich linearer und logistischer Regressionsmodelle, gibt es einen anderen allgemeinen Ansatz, der auf der Methode der Momentschätzung basiert.

Der lineare Regressionsschätzer kann auch als Wurzel der Schätzgleichung formuliert werden:

$$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$$

$\beta$

$$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$$

Where $Y_i$ has expected value $g(\mathbf{X}_i \beta)$. In GLM estimation, $g$ is said to be the inverse of a link function. In normal likelihood equations, $g^{-1}$ is the identity function, and in logistic regression $g^{-1}$ is the logit function. A more general approach would be to require $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$ which allows for model misspecification.

Additionally, it is interesting to note that for regular exponential families, $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ which is called a mean-variance relationship. Indeed for logistic regression, the mean variance relationship is such that the mean $p = g(\mathbf{X}\beta)$ is related to the variance by $\mbox{var}(Y_i) = p_i(1-p_i)$. This suggests an interpretation of a model misspecified GLM as being one which gives a 0 average Pearson residual. This further suggests a generalization to allow non-proportional functional mean derivatives and mean-variance relationships.

A generalized estimating equation approach would specify linear models in the following way:

$$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$$

With $\mathbf{V}$ a matrix of variances based on the fitted value (mean) given by $g(\mathbf{X}\beta)$. This approach to estimation allows one to pick a link function and mean variance relationship as with GLMs.

In logistic regression $g$ would be the inverse logit, and $V_{ii}$ would be given by $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$. The solutions to this estimating equation, obtained by Newton-Raphson, will yield the $\beta$ obtained from logistic regression. However a somewhat broader class of models is estimable under a similar framework. For instance, the link function can be taken to be the log of the linear predictor so that the regression coefficients are relative risks and not odds ratios. Which--given the well documented pitfalls of interpreting ORs as RRs--behooves me to ask why anyone fits logistic regression models at all anymore.