So berechnen Sie den Achsenabschnitt und den Koeffizienten bei der logistischen Regression manuell

Ich studiere derzeit über logistische Regression. Aber ich bleibe bei der Berechnung des Abschnitts ( ) und des Koeffizienten ( ) stecken . Ich habe über das Internet danach gesucht, aber nur Tutorials mit Microsoft Excel oder integrierten Funktionen in R erhalten. Ich habe gehört, dass es durch Maximum Likelihood gelöst werden kann, aber ich verstehe nicht, wie ich es verwenden soll, weil ich es nicht tue Ich habe keinen statistischen Hintergrund. Kann mir jemand eine kurze Erklärung und Simulation für die manuelle Berechnung der Koeffizienten geben? $\beta_0$ $\beta_1$

— Kadek Dwi Budi Utama
quelle

Verstehst du Optimierung im Allgemeinen? Wie das Minimum oder Maximum einer Funktion finden?

— Wahrscheinlichkeitslogik

Ich wünschte wirklich, mehr Leute würden solche Fragen stellen.

— Maddenker

Antworten:

Leider gibt es im Gegensatz zur linearen Regression keine einfache Formel für die maximale Wahrscheinlichkeitsschätzung der logistischen Regression. Sie müssen eine Art Optimierungsalgorithmus ausführen, z. B. Gradientenabstieg oder iterativ neu gewichtetes kleinstes Quadrat .

— Dougal
quelle

Das ist im Allgemeinen wahr. Eine Ausnahme liegt vor, wenn die einzige erklärende Variable kategorisch ist oder wenn alle erklärenden Variablen kategorisch sind und alle Interaktionen (höherer Ordnung) im Modell enthalten sind. In diesem Fall sind die Koeffizienten Transformationen der Mittelwerte.

— Maarten Buis

Hast du eine Quelle dafür?

— information_interchange

Ich möchte meine Methode vorschlagen und hoffe, dass sie hilft.

$E_p f_j = E_{\hat p}f_j$

Nehmen wir zum Beispiel die Kreuztabelle unten, wie viele Männer / Frauen in der Ehrenklasse sind.

           |         female
       hon |      male     female |     Total  
-----------+----------------------+----------
         0 |        74         77 |       151 
         1 |        17         32 |        49 
-----------+----------------------+----------
     Total |        91        109 |       200

$\sum_i y_i x_{ij} = \sum_i p_i x_{ij}$

$log(\frac{p}{1-p})=\beta_0 + \beta_1x_i$ $p=\frac{1}{1+e^{-(\beta_0+\beta_1 * x_i)}}$ $x_i$ $X=1$ $X=0$

\frac{32}{109} = \frac{1}{1 + e^{- - (β_{0} + β_{1} * 1)}}

$\frac{32}{109} = \frac{1}{1+e^{-(\beta_0+\beta_1 * 1)}}$

\frac{17}{91} = \frac{1}{1 + e^{- - (β_{0} + β_{1} * 0)}}

$\frac{17}{91} = \frac{1}{1+e^{-(\beta_0 + \beta_1 * 0)}}$

$\beta_0$ $\beta_1$

In diesem Sinne können Sie die Koeffizienten anderer logistischer Regressionsmodelle manuell berechnen (dies gilt auch für die Softmax-Regression, ist jedoch nicht Gegenstand dieser Frage), wenn genügend Daten angegeben sind.

Ich hoffe ich habe recht, wenn nicht, lass es mich wissen. Vielen Dank.

— Lerner Zhang
quelle

Kann mir jemand sagen, warum ich eine Ablehnung bekomme? Vielen Dank.

— Lerner Zhang

Ich bin nicht der Downvote, also kann ich nicht sicher sagen. Aber ich denke, Sie könnten Ihre Antwort verbessern, indem Sie 1) Ihre Berechnungen auf das Maximum-Likelihood-Problem beziehen, das durch logistische Regression gelöst wird, 2) erklären, warum genau dieses Beispiel von Hand bearbeitet werden kann, andere jedoch nicht, 3) die Regression mithilfe eines iterativen Algorithmus anpassen und zeigt, dass die Antwort die gleiche ist.

— Matthew Drury

@MatthewDrury Ich habe meine Antwort nach einigem Graben aktualisiert. Bitte prüfe.

— Lerner Zhang

Hey @Lerner Sie müssen multiplizieren 1 / (1 + e (β0 + β1 * 1)) 32 mal und 1 / (1 + e (β0 + β1 * 0)) 17 mal. Nicht nur mit einfachen Zusätzen wie 32/109.

— Aerin

@ BYOR OK, ich werde es bald überprüfen und aktualisieren.

— Lerner Zhang