Was ist eine Log-Odds-Verteilung?


11

Ich lese ein Lehrbuch über maschinelles Lernen (Data Mining von Witten et al., 2011) und bin auf diese Passage gestoßen:

... Außerdem können verschiedene Verteilungen verwendet werden. Obwohl die Normalverteilung normalerweise eine gute Wahl für numerische Attribute ist, ist sie nicht für Attribute geeignet, die ein vorbestimmtes Minimum, aber keine Obergrenze haben. In diesem Fall ist eine "logarithmische Normalverteilung" besser geeignet. Numerische Attribute, die oben und unten begrenzt sind, können durch eine "Log-Odds" -Verteilung modelliert werden .

Ich habe noch nie von dieser Distribution gehört. Ich habe nach "Log-Odds Distribution" gegoogelt, konnte aber keine relevante genaue Übereinstimmung finden. Kann mir jemand helfen? Was ist diese Verteilung und warum hilft sie bei oben und unten begrenzten Zahlen?

PS Ich bin ein Softwareentwickler, kein Statistiker.

Antworten:


14

Warum hilft es bei oben und unten begrenzten Zahlen?

Eine auf definierte Verteilung macht es als Modell für Daten auf geeignet . Ich denke nicht, dass der Text mehr impliziert als "es ist ein Modell für Daten zu " (oder allgemeiner zu ).( 0 , 1 ) ( 0 , 1 ) ( a , b )(0,1)(0,1)(0,1)(a,b)

Was ist diese Verteilung ...?

Der Begriff "Log-Odds-Verteilung" ist leider nicht ganz Standard (und selbst dann kein sehr verbreiteter Begriff).

Ich werde einige Möglichkeiten diskutieren, was es bedeuten könnte. Betrachten wir zunächst eine Möglichkeit, Verteilungen für Werte im Einheitsintervall zu erstellen.

Eine übliche Methode zur Modellierung einer kontinuierlichen Zufallsvariablen, in ist die Beta-Verteilung , und eine übliche Methode zur Modellierung diskreter Proportionen in ist ein skaliertes Binom ( , zumindest wenn ist eine Zählung).( 0 , 1 ) [ 0 , 1 ] P = X / n X.P(0,1)[0,1]P=X/nX

Eine Alternative zur Verwendung einer Beta-Verteilung wäre, eine kontinuierliche inverse CDF ( ) zu verwenden, um die Werte in in die reelle Linie (oder selten in die reelle halbe Linie) umzuwandeln. Verwenden Sie dann eine relevante Verteilung ( ), um die Werte im transformierten Bereich zu modellieren. Dies eröffnet viele Möglichkeiten, da für die Transformation und das Modell jedes Paar kontinuierlicher Verteilungen auf der realen Linie ( ) verfügbar ist. ( 0 , 1 ) G F , G.F1(0,1)GF,G

So zum Beispiel das Log-Odds - Transformation (auch genannt logit ) wäre eine solche inverse cdf Transformation ( das ist der inverse CDF eines Standard logistischer ) und dann gibt es viele Verteilungen, die wir als Modelle für betrachten könnten .Y.Y=log(P1P)Y

Wir könnten dann (zum Beispiel) ein logistisches Modell für , eine einfache Zwei-Parameter-Familie auf der realen Linie. Die Rücktransformation zu über die inverse Log-Odds-Transformation (dh ) ergibt eine Zwei-Parameter-Verteilung für , eine, die sein kann unimodal oder U-förmig oder J-förmig, symmetrisch oder schief, in vielerlei Hinsicht ähnlich wie eine Beta-Distribution (persönlich würde ich dies als logit-logistisch bezeichnen, da es logistisch ist). Hier sind einige Beispiele für verschiedene Werte von :Y ( 0 , 1 ) P = exp ( Y )(μ,τ)Y(0,1) Pμ,τP=exp(Y)1+exp(Y)Pμ,τ

Geben Sie hier die Bildbeschreibung ein

Wenn man sich die kurze Erwähnung im Text von Witten et al. Betrachtet, könnte dies das sein, was mit "Log-Odds-Verteilung" gemeint ist - aber sie könnten genauso gut etwas anderes bedeuten.

Eine andere Möglichkeit ist, dass das Logit-Normal beabsichtigt war.

Der Begriff scheint jedoch von van Erp & van Gelder (2008) , um sich beispielsweise auf eine Log-Odds-Transformation für eine Beta-Verteilung zu beziehen (also tatsächlich als logistische und als Verteilung des Protokolls einer Beta-Prime- Zufallsvariablen oder äquivalent die Verteilung der Differenz der Protokolle zweier Chi-Quadrat-Zufallsvariablen). Allerdings verwenden sie dieses Modell zu tun Zählung Proportionen, die diskret sind. Dies führt natürlich zu einigen Problemen (verursacht durch den Versuch, eine Verteilung mit endlicher Wahrscheinlichkeit bei 0 und 1 mit eins auf zu modellieren. FG(0,1)[1]FG(0,1)), für die sie dann scheinbar viel Mühe aufwenden. (Es scheint einfacher zu sein, das unangemessene Modell zu vermeiden, aber vielleicht bin das nur ich.)

Mehrere andere Dokumente (ich habe mindestens drei gefunden) beziehen sich auf die Stichprobenverteilung der Log-Odds (dh auf der Skala von oben) als "Log-Odds-Verteilung" (in einigen Fällen, in denen ein diskreter Anteil ist * und in einigen Fälle, in denen es sich um ein kontinuierliches Verhältnis handelt) - in diesem Fall handelt es sich also nicht um ein Wahrscheinlichkeitsmodell als solches, sondern um etwas, auf das Sie möglicherweise ein Verteilungsmodell auf die reale Linie anwenden.P.YP

* Wieder, hat das Problem , dass , wenn genau 0 oder 1 ist, wird der Wert von wird oder jeweils ... , das wir die Verteilung schlägt entfernt es für diesen Zweck von 0 und 1 zu verwenden gebunden sind .Y - PY

Die Dissertation von Yan Guo (2009) verwendet den Begriff, um sich auf eine log-logistische Verteilung zu beziehen, eine Verteilung mit rechtem Versatz auf der realen halben Linie.[2]

Wie Sie sehen, ist es kein Begriff mit einer einzigen Bedeutung. Ohne einen klareren Hinweis von Witten oder einem der anderen Autoren dieses Buches können wir nur raten, was beabsichtigt ist.

[1]: Noel van Erp und Pieter van Gelder, (2008),
"Wie man die Beta-Verteilung im Falle eines Zusammenbruchs interpretiert",
Proceedings of the 6th International Probabilistic Workshop , Darmstadt
pdf link

[2]: Yan Guo, (2009),
The New Methods on NDE Systems, Bewertung der Pod-Fähigkeit und Robustheit,
Dissertation, eingereicht an der Graduate School der Wayne State University, Detroit, Michigan


1
(+1) Eine Suche im gesamten Buch zeigt, dass keine Klarstellung erfolgt. Der Kontext legt nahe, dass sich "Log-Odds-Verteilung" auf ein bestimmtes Modell bezieht, genau wie das "Lognormal" im vorherigen Satz als universelle Verteilung für alle nichtnegativen Werte (!) Vorgeschlagen wird.
whuber

1
@whuber Ich stimme Ihrer Charakterisierung der Inhalte des Buches zu. Ich wollte nicht, dass meine Kommentare zur Verwendung des Begriffs in anderen Kontexten zur Bezugnahme auf die Stichprobenverteilung implizieren, dass dies die Absicht des Buches war, sondern nur als ein Hinweis darauf, dass es sich um einen Begriff mit mehreren Bedeutungen handelt. In den fraglichen Passagen würde ich den Leuten, die dieses Material lernen (wie in vielen Dingen), raten, mehr als ein Buch zu lesen.
Glen_b -Reinstate Monica

2

Ich bin Softwareentwickler (kein Statistiker) und habe kürzlich ein Buch mit dem Titel Eine Einführung in das statistische Lernen gelesen. Mit Anwendungen in R.

Ich denke, was Sie lesen, ist Log-Odds oder Logit. Seite 132

http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Fourth%20Printing.pdf

Geniales Buch - ich habe es von Anfang bis Ende gelesen. Hoffe das hilft


Danke für den Hinweis. Unter der Annahme, dass die Log-Odds-Verteilung mit der "Logistic-Verteilung" identisch ist, habe ich letztere auf Wikipedia nachgeschlagen. Es scheint, dass das PDF keine Unter- oder Obergrenze hat. Daher frage ich mich immer noch, warum das Lehrbuch, das ich ursprünglich zitiert habe, besagt, dass "numerische Attribute, die oben und unten begrenzt sind, mit dieser Distribution modelliert werden können".
stackoverflowuser2010

Ich denke, es geht vielleicht um die Ausgabe der Funktion, bei der die Grenzen zwischen 0,0 (unmöglich) und 1,0 (definitiv) liegen. (Ich könnte hier völlig falsch liegen)
JasonEdinburgh

Es ist möglich, dass Ihr Modell beliebig große positive oder negative Ergebnisse liefert. Diese sind möglicherweise nicht in Bezug auf einen begrenzten Bereich wie eine Wahrscheinlichkeit interpretierbar, können jedoch unter Verwendung der Logit-Funktion und ihrer Umkehrung der Logistikfunktion als Log-Odds interpretiert werden.
Henry
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.