Wann wird die logistische Regression in geschlossener Form gelöst?

Nehmen wir $x \in \{0,1\}^d$ und $y \in \{0,1\}$ und nehmen wir an, wir modellieren die Aufgabe der Vorhersage von y mit gegebenem x unter Verwendung der logistischen Regression. Wann können logistische Regressionskoeffizienten in geschlossener Form geschrieben werden?

Ein Beispiel ist, wenn wir ein gesättigtes Modell verwenden.

Das heißt, definiert , $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ , wobei $i$ Indizes Sätze in dem Leistungssatz $\{x_1,\ldots,x_d\}$ , und $f_i$ liefern 1 wenn alle Variablen in der $i$ -ten Menge 1 und sonst 0 sind. Dann können Sie jedes $w_i$ in diesem logistischen Regressionsmodell als Logarithmus einer rationalen Funktion der Statistik der Daten ausdrücken .

Gibt es noch andere interessante Beispiele, wenn geschlossene Form existiert?

Wie kjetil b halvorsen ausführte, ist es auf seine Weise ein Wunder, dass die lineare Regression eine analytische Lösung zulässt. Und das nur aufgrund der Linearität des Problems (in Bezug auf die Parameter). In OLS haben Sie was die Bedingungen erster Ordnung hat - 2 ∑ i ( y i - x ' i β ) x i = 0 Für ein Problem mit

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$Variablen (einschließlich Konstante, falls erforderlich - es gibt auch eine gewisse Regression durch die Ursprungsprobleme), dies ist ein System mit Gleichungen und p Unbekannten. Am wichtigsten ist, dass es sich um ein lineares System handelt, sodass Sie eine Lösung unter Verwendung der Standardtheorie und -praxis der linearen Algebra finden können . Dieses System hat eine Lösung mit der Wahrscheinlichkeit 1, es sei denn, Sie haben perfekt kollineare Variablen.$p$$p$

Mit der logistischen Regression ist es nicht mehr so ​​einfach. Schreiben Sie die log-Likelihood-Funktion auf, und wenn wir die Ableitung nehmen, um die MLE zu finden, erhalten wir ∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ Die Parameterβgeben dies auf sehr nichtlineare Weise ein: Für jedesigibt es eine nichtlineare Funktion, und sie werden addiert. Es gibt keine analytische Lösung (außer wahrscheinlich in einer trivialen Situation mit zwei Beobachtungen, oder so ähnlich), und Sie müssen verwendennichtlineare Optimierungsverfahrendie Schätzungen finden ß . $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$$\hat\beta$

Ein etwas tieferer Blick auf das Problem (unter Verwendung der zweiten Ableitung) zeigt, dass es sich um ein konvexes Optimierungsproblem handelt, bei dem ein Maximum einer konkaven Funktion (eine verherrlichte multivariate Parabel) gefunden wird. Es gibt also eine von beiden, und jeder sinnvolle Algorithmus sollte dies eher finden schnell, oder die Dinge sprengen ins Unendliche. Letzteres tut zufällig logistische Regression , wenn für einige${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$Sie haben also eine perfekte Vorhersage. Dies ist ein ziemlich unangenehmes Artefakt: Sie würden denken, wenn Sie eine perfekte Vorhersage haben, funktioniert das Modell perfekt, aber seltsamerweise ist es umgekehrt.

Dieser Beitrag war ursprünglich als langer Kommentar gedacht und nicht als vollständige Antwort auf die vorliegende Frage.

Aus der Frage ist es ein wenig unklar, ob das Interesse nur im binären Fall liegt oder vielleicht in allgemeineren Fällen, in denen sie stetig sind oder andere diskrete Werte annehmen.

Ein Beispiel, das die Frage nicht ganz beantwortet, aber verwandt ist und das mir gefällt, befasst sich mit Rangfolgen der Artikelpräferenzen, die durch paarweise Vergleiche erhalten wurden. Das Bradley-Terry-Modell kann als logistische Regression ausgedrückt werden

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ und $\alpha_i$ is an "affinity", "popularity", or "strength" parameter of item $i$ with $Y_{ij} = 1$ indicating item $i$ was preferred over item $j$ in a paired comparison.

If a full round-robin of comparisons is performed (i.e., a pairwise preference is recorded for each unordered $(i,j)$ pair), then it turns out that the rank order of the MLEs $\hat{\alpha}_i$ entsprechen der Rangfolge von $S_i = \sum_{j \neq i} Y_{ij}$, die Summe der Male, die jedes Objekt einem anderen vorgezogen wurde.

Um dies zu interpretieren, stellen Sie sich ein komplettes Rundenturnier in Ihrem Lieblingswettkampfsport vor. Dieses Ergebnis besagt dann, dass das Bradley-Terry-Modell die Spieler / Teams nach ihrem Gewinnprozentsatz einordnet. Ob dies ein ermutigendes oder enttäuschendes Ergebnis ist, hängt wohl von Ihrer Sichtweise ab.

NB Dieses Rangordnungsergebnis gilt im Allgemeinen nicht, wenn kein vollständiges Round-Robin gespielt wird.